Родился в интеллигентной еврейской семье 2 июня 1894 года.
Учился в гимназии, но с 15 лет был вынужден добывать себе средства к существованию. В 17 лет заинтересовался марксизмом.
В 1913 году, окончив гимназию с серебряной медалью, переехал в г. Малин Киевской губернии и стал репетитором. В 1914 поступил в Петербургский психоневрологический институт, но, не увлёкшись врачебной деятельностью, в 1915 перевелся на юридический факультет Киевского университета. Познакомившись с руководителями большевистского подполья на Украине Н. А. Скрыпником и С. В. Косиором, оказавшими на него большое влияние, Гамарник в 1916 стал членом РСДРП(б). Вёл пропаганду на киевском заводе «Арсенал».
После Февральской революции 1917 Гамарник возглавлял Киевский комитет РСДРП(б).
После Октябрьской революции в Петрограде был арестован властями вместе с руководителями киевских большевиков. Был освобожден вооруженным восстанием 31 октября 1917.
В 1918—1919 годах — на подпольной партийной работе на Украине. В 1918 приехал в Москву, познакомился с В. И. Лениным и был избран в состав ЦК КП(б)У. Участвовал в подавлении мятежа левых эсеров. В 1918 г. заместитель председателя Киевского Совета.
С 1919 года председатель Одесского губкома партии.
В августе 1919 года Гамарник был назначен членом РВС Южной группы войск 12-й армии. В феврале 1920 после разгрома деникинцев Гамарник был председателем Киевского губкома партии и Киевского губисполкома.
С июля 1923 года — председатель Приморского губисполкома, в июне 1924 года — председатель Дальревкома, а с марта 1926 года — Дальневосточного крайисполкома.
В 1927—1928 гг. первый секретарь Дальневосточного крайкома партии. Много занимался промышленным развитием Дальнего Востока, при его участии разрабатывался и осуществлялся 10-летний план (1926—1935) подъема экономики края. Поддержал украинизацию юга Дальнего Востока, где в разных его районах проживало от 60 до 80 % украинцев.
С февраля 1928 года по октябрь 1929 года — первый секретарь ЦК КП(б) Белоруссии. Поддерживал политику коллективизации.
В 1929—1937 годах начальник Политуправления РККА, одновременно ответственный редактор газеты «Красная звезда». Через Гамарника осуществлялась связь между руководством Наркомата обороны и органами государственной безопасности.
В 1930—1934 годах первый зам. наркома по военным и морским делам СССР Ворошилова и зам. председателя Реввоенсовета СССР. Оказывал всемерное содействие Тухачевскому в осуществлении технической реконструкции Красной Армии и сыграл большую роль в повышении боеготовности РККА.
На ноябрьском Пленуме ЦК 1929 Гамарник поддержал Сталина в разгроме «правой оппозиции»:
«Мы не можем терпеть, чтобы в рядах нашего Политбюро находились люди, которые мешают нашей борьбе, которые путаются между ног, которые объективно защищают классового врага».
Речь шла о Н. И. Бухарине, А. И. Рыкове, М. П. Томском.
В 1934—1937 годах первый зам. наркома обороны СССР. Выступил в защиту Тухачевского, заявив Сталину, что в его отношении совершена ошибка. 13 марта 1937 г. назначен уполномоченным Наркомата обороны СССР при Совнаркоме РСФСР.
Гамарнику первому в Красной Армии 20 ноября 1935 года было присвоено воинское звание армейского комиссара 1-го ранга, соответствующее званию командарма 1-го ранга.
Делегат 10—17-го съездов партии. На 14-м съезде избирался кандидатом в члены ЦК партии, на 15—17-м — член ЦК ВКП(б). Член ВЦИК и ЦИК СССР.