Музей Севастопольской обороны, как он ранее назывался, созданный по инициативе участников обороны 1854-1855 гг., вначале располагался в доме генерал-адъютанта Э.И. Тотлебена, он находился напротив современного здания музея (не сохранился). В пяти его комнатах размещалась экспозиция, открытие которой состоялось 14 сентября 1869 г. по инициативе участников героической обороны Севастополя 1854-1855 гг.Музею были переданы личные вещи, фотографии, документы, рукописи воспоминаний участников обороны Севастополя, коллекции огнестрельного и холодного оружия, гравюры, картины художников И.К. Айвазовского, Ф.А. Рубо, В.Е. Маковского, знаменитые рисунки с натуры В. Тимма.

Учитывая значимость музея, 1 декабря 1869 г. император Александр II издал указ о передаче на всегдашние времена Севастопольскому музею имения в деревне Эмир Таврической губернии Бердянского уезда площадью 1.936 десятин, в целях обеспечения средствами на развитие. Это имение приносило ежегодный доход 2.500 рублей.

К 25-летию музея, в 1895 г., для него было построено специальное здание по проекту архитектора А.М. Кочетова. Сооружения античной Греции подсказали архитектору его образ. Сооружено из-за рельефа местности на двух уровнях, фасады симметричны. Главный вход акцентирован центрально расположенным ризолитом с четырьмя каннелюрованными колоннами ионического ордера и треугольным фронтоном с «Севастопольским знаком» или «Крестом крови» — четырехконечным крестом с цифрой «349» в лавровом венке -неофициальной наградой защитников города.

Дворовый фасад с двумя боковыми ризолитами, между которыми имеется открытая галерея с колоннами дорического ордера и центральным портиком с фронтоном, также оригинален и выразителен. Все лепные и литые чугунные украшения здания выполнены одесским скульптором Б.В. Эдуардсом. На фасадах помещены львиные морды (маскароны), чугунные ростры (носы судов) — символы морского могущества, с военными атрибутами, светильники, колонны с пальмовыми ветвями — символами славы. Во дворе здания музея расположена открытая экспозиция военной техники.

Осмотр всегда начинался со второго этажа, где экспонировались модели, портреты, гипсовые бюсты и витрина с вещами Николая I. На первом этаже была представлена артиллерия. Из коллекции Александра II была передана картина И.К. Айвазовского, великие князья передали саблю командующего турецкой эскадрой Осман-паши, подзорную трубу П.С. Нахимова, вдова М.П. Лазарева передала в дар музею его награды. В 1913 г. в музее насчитывалось больше двух тысяч ценнейших реликвий. Очень много экспонатов поступило в 1905 г., когда отмечалось 50-летие обороны Севастополя.

До 1940 г. музей претерпел целый ряд всевозможных изменений и перемещений и стал Военно-историческим музеем Черноморского флота. В период Героической Обороны Севастополя 1941-1942 гг. часть наиболее ценных экспонатов была эвакуирована в Баку, затем в Ульяновск. Оставленная здесь и уцелевшая под бомбежками экспозиция в связи с тем, что здание музея сильно пострадало, была временно переведена в здание картинной галереи по ул. Фрунзе (проспект Нахимова).