Родился 17 октября 1916 года в деревне Селиваново ныне Волотовского района Новгородской области в семье крестьянина. Русский. Член ВКП(б) с 1941 года. В 1936 году окончил Высшую парашютную школу, работал лётчиком-инструктором в Новгородском аэроклубе. В ВМФ с ноября 1939 года. Окончил Ейское военно-морское авиационное училище имени И.В.Сталина в августе 1940 года. Направлен в 32-й истребительный авиационный полк ВВС Черноморского флота.

Участник Великой Отечественной войны с июня 1941 года. Участник обороны Севастополя. Летал на разведку, штурмовку войск противника. Участвовал в воздушных боях.

Лётчик 32-го истребительного авиационного полка (62-я истребительная авиационная бригада, ВВС Черноморского флота) младший лейтенант Иванов Я.М. 12 ноября 1941 года дежурил на своём аэродроме. По сигналу тревоги поднялся в небо на самолёте МиГ-3 в паре с лейтенантом Саввой Н.И. для отражения налёта вражеской авиации на главную базу Черноморского флота. При подходе к Севастополю они обнаружили 9 бомбардировщиков противника He-111. Прикрываясь облачностью, наши лётчики неожиданно атаковали врага. Через несколько минут боя Иванову удалось сбить один "хейнкель". Строй бомбардировщиков нарушился и они по-одиночке стали пробиваться к цели. Сделав боевой разворот, Иванов оказался рядом с другим "хейнкелем". Вражеский стрелок открыл по нему огонь. Дав несколько очередей, Иванов сделал последний решительный заход, поймал бомбардировщик в прицел и нажал на гашетку, но выстрелов не последовало. Тогда он подошёл вплотную и нанёс удар винтом по хвосту "хейнкеля". Потеряв управление, тот камнем пошёл к земле и взорвался на собственных бомбах. С повреждённым капотом и винтом Иванов произвёл посадку на своём аэродроме.

Через несколько дней в воздушном бою сбил ещё один самолёт противника. 17 ноября 1941 года при отражении массированного налёта авиации на город в бою с 31 вражескими бомбардировщиками, сопровождаемыми истребителями, сбил Do-215. Затем атаковал второй. Вражеские стрелки открыли по нему огонь со всех огневых точек. Меткой очередью Иванову удалось подбить "дорнье". Повреждённый бомбардировщик попытался уйти в сторону моря. Иванов на полном газу догнал его и тараном уничтожил. Обломки обоих самолётов упали в море. 17 января 1942 года Иванову Я.М. посмертно присвоено звание Героя Советского Союза. Награждён орденом Ленина.

Именем Героя названа улица в городе Чудово Новгородской области, на ней установлена мемориальная доска. В пгт Кача Крымской области и в Севастополе установлены бюсты Героя.