Родился в 1904 году в селе Берёзовка Аннинского района Воронежской области в семье крестьянина. Окончил неполную среднюю школу. В 1926 году призван в ряды Красной Армии. В 1930 году окончил Омскую пехотную школу. В боях Великой Отечественной войны с июня 1941 года. Воевал на Северо-Кавказском фронте.
456-й сводный пограничный полк войск НКВД под командованием подполковника Г.А. Рубцова 250 дней оборонял важнейший рубеж на подступах к Севастополю.
Полк получил ответственный рубеж обороны на самом южном фланге огромнейшего фронта войны. Этот рубеж начинался от совхоза «Благодать» и кончался Балаклавской бухтой. На участке обороны полка находилась и старинная Генуэзская крепость. Надо было во что бы то ни стало удержать Балаклаву, в противном случае враг мог бы кратчайшим путем двинуться на Севастополь и отрезать защитникам города выход к Морю. Генуэзская башня была для фашистов как бельмо в глазу. Особенно их бесил алый советский флаг, трепетавший над самой верхушкой зубчатой башни, и надпись крупными буквами: «Смерть фашистским оккупантам!»
Особенно жаркие бои на Балаклавских высотах разгорелись в июне 1942 года. Почти все войска, имевшиеся в Крыму, фашисты бросили на штурм Севастополя. В те дни по защитникам города было выпущено 30 тысяч снарядов и сброшено 125 тысяч тонн бомб. В наступлении участвовало множество танков. Обороняя Балаклавский участок, пограничники сражались как настоящие герои.
С 7 июня Балаклаву беспрестанно бомбили вражеские самолеты, обстреливали с высот пушки и минометы. Только за два дня — 7 и 8 июня на каждого защитника Балаклавы пришлись сотни килограммов стали. Под ее напором дробился, превращался в пыль гранит. Люди выстаивали. Выстаивали и отражали одну за другой атаки гитлеровцев, решивших любой ценой отрезать Балаклаву от Севастополя. Однако ни одного рубежа не сдавали врагу рубцовцы...
Утром 30 июня Советское Информбюро сообщило: «Пехотинцы подразделения Рубцова отбили десятки атак превосходящих сил противника и уничтожили до двух полков немецкой пехоты, 11 танков и сбили два бомбардировщика противника».
Когда началась эвакуация Севастополя, полк Рубцова получил приказ прикрывать отход наших войск. И пограничники сражались героически.
С тяжёлыми боями остатки полка отходили через Кадыковку и Корань к мысу Фиолент, где надеялись попасть на катера, эвакуирующие защитников города. Но здесь, у моря, завязалась жестокая схватка с гитлеровцами. Зажатые со всех сторон пограничники бились не на жизнь, а на смерть. Собрав оставшихся в живых воинов, Герасим Рубцов повёл их в последнюю рукопашную схватку. Отважный командир вместе с комиссаром полка Анатолием Смирновым шёл впереди, увлекая за собой бойцов.
Это был последний бой героя-командира. Подполковник Герасим Архипович Рубцов погиб в бою в июле 1942 года. Пограничники, голодные и израненные, отбивались от наседавших фашистов до последнего патрона. Они не посрамили чести советского воина. Немногим из них удалось прорваться к крымским партизанам.
Указом Президиума Верховного Совета СССР от 8 мая 1965 года за мужество и героизм, проявленные в боях с немецко-фашистскими захватчиками подполковнику Герасиму Архиповичу Рубцову посмертно присвоено звание Героя Советского Союза.
Награжден орденом Ленина.
В Балаклаве именем Г.А. Рубцова названа улица, на доме 17 установлена мемориальная доска.