В начале 20-х годов прошлого века среди передовых офицеров Черноморского флота возникла мысль открыть в Севастополе общественную библиотеку. Проект создания библиотеки был утвержден командующим флотом, но средств на нее царское правительство не отпустило, и их пришлось собирать среди офицеров, согласившихся отчислять от своего жалованья по копейке с рубля.
Морская библиотека открылась в 1822 году, однако долгое время влачила жалкое существование. Положение изменилось со вступлением в командование Черноморским флотом М. П. Лазарева. По его инициативе для библиотеки было построено специальное здание, в которое она перешла в 1844 году. Через год здание и часть книжного фонда уничтожил пожар. Благодаря энергии и усилиям передовых людей флота, поддержанных Лазаревым, для библиотеки было выстроено новое, еще лучшее здание, считавшееся одним из красивейших в городе.
Адмиралы Корнилов и Нахимов также заботились о библиотеке и уделяли ей большое внимание. П. С. Нахимов с 1843 года до своей смерти возглавлял «комитет директоров», руководивший библиотекой. В. А. Корнилов был секретарем-казначеем, руководил приобретением книг, выпиской периодических изданий, занимался подбором и наймом работников. Он же разработал устав библиотеки.
Если за первые 20 лет существования библиотеки в ней было собрано около 3 тысяч книг, то за десять лет, с 1844 по 1854 год, книжный фонд вырос до 16 тысяч, а ежегодная выдача книг читателям достигла 30 тысяч томов.
Во время обороны Севастополя 1854 — 1855 гг. помещение библиотеки занимал Главный перевязочный пункт, в котором работал великий русский хирург Н. И. Пирогов.
Беспрерывные бомбардировки разрушили здание библиотеки. Поэтому незадолго до оставления Севастополя большая часть книг была вывезена в Николаев. Англо-французские захватчики разграбили имущество библиотеки, увезли в Лондон и Париж не только оставшиеся книги, но и скульптуры и даже мраморные ступени лестниц.
От здания Морской библиотеки до наших дней сохранилась только башня («башня ветров»). На ней установлена мемориальная мраморная доска с надписью: «Башня бывшей Морской библиотеки». Она является копией древнегреческой мраморной «башни ветров», находящейся в Афинах. Верхний фриз башни украшен барельефами, изображающими героев греческой мифологии.
После Крымской войны Морская библиотека 35 лет находилась в Николаеве. Только в 1890 году она возвратилась в Севастополь, где для нее было построено новое здание.
Комитет директоров в 1893 году обратился ко всем отечественным университетам, ученым обществам и учреждениям с просьбой помочь библиотеке в пополнении книжного фонда. На это обращение откликнулись многие общественные организации и отдельные лица, и за 10 лет в дар библиотеке было преподнесено более 6 тысяч томов.
Будучи старейшим культурным очагом Севастополя, Морская библиотека в дореволюционное время обслуживала очень узкий круг читателей. Подлинный расцвет ее деятельности наступил после Великой Октябрьской социалистической революции, когда все завоевания науки и культуры стали общенародным достоянием.
К 1941 году книжный фонд библиотеки составлял 160 тысяч томов. Количество читателей было в несколько раз больше, чем в дореволюционное время.
В период второй обороны Севастополя библиотека бесперебойно обслуживала защитников главной базы Черноморского флота. Ее читальный зал не прекращал своей работы в самые тяжелые дни обороны.
В 1942 году библиотека была эвакуирована и обеспечивала литературой воинские части различных городов Черноморского побережья.
После освобождения Севастополя от гитлеровцев Морская библиотека некоторое время находилась в помещении музея обороны, но уже к концу 1944 года она перешла в новое помещение по ул. Ленина, 29, а с начала 1961 года на проспект Нахимова, 7.
В 1952 году на здании библиотеки была помещена мраморная мемориальная доска с надписью: «Севастопольская Морская библиотека основана 21 июня 1822 года. В создании Морской библиотеки принимали участие выдающиеся русские флотоводцы М. П. Лазарев, П. С. Нахимов, В. А. Корнилов».
Морская библиотека активно помогала командирам и политработникам в воинском, политическом и культурном воспитании военных моряков, проводила большую работу среди семей военнослужащих и населения города. В ее книжных фондах, быстро растущих с каждым годом, много ценных изданий и уникальных книг.