Родился в дворянской семье сенатора Петра Гавриловича Лазарева, представителя боковой ветви армянского аристократического рода Абамелек-Лазаревых, правителя Владимирского наместничества. Незадолго до смерти, в 1801 году сенатор определил троих сыновей — Андрея, Михаила, Алексея — в Морской кадетский корпус.

В 1803 году выдержал экзамен на звание гардемарина, став третьим по успеваемости из 32 учеников. В декабре 1805 года произведён в первый офицерский чин — мичмана.

В числе 30 лучших выпускников корпуса отправлен в Англию, где служил волонтёром на флоте до 1808 года для ознакомления с постановкой военно-морского дела в иностранных портах. В течение пяти лет находился в непрерывном плавании в Атлантическом океане и Средиземном море.

В 1808—1813 годах служил на Балтийском флоте. Участвовал в Русско-шведской войне 1808—1809 и Отечественной войне 1812