История строительства
Первый проект Джакомо Кваренги
Идея построить на Стрелке здание для биржевой торговли родилась ещё при Петре I. В конце 1780-х годов при Екатерине II приступили к реализации проекта. Первоначальный проект разработал архитектор Джакомо Кваренги. Он задумал лёгкое, изящное здание овальной формы с двумя портиками, обращённое фасадом к Зимнему дворцу.
Строительство началось в 1783 году, но в 1787 году работы приостановили. Формальным поводом стало перераспределение государственных средств в связи с русско-турецкой, а затем русско-шведской войнами. Кроме того, купцам, которые участвовали в финансировании, новая Биржа не нравилась — они считали, что здание не вписывается в городской пейзаж.

Проект Тома де Томона
В 1805 году новый проект здания Биржи поручили разработать архитектору Жану-Франсуа Тома де Томону. Он создал четыре варианта проектов, которые отличались размерами и пропорциями. 26 февраля 1804 года император Александр I утвердил окончательный вариант. В том же году недостроенное здание Кваренги разобрали, и началось строительство нового.
Церемония закладки состоялась 23 июня 1805 года при личном присутствии императора. Основные работы по строительству завершились в 1810 году, но из-за войны с Наполеоном официальное открытие Биржи состоялось только 15 июля 1816 года.
Особенности архитектуры
Здание построено по типу античного храма на высоком гранитном подиуме с окружающей центральный объём дорической колоннадой.
Форма древнегреческого храма-периптера (с 44 дорическими колоннами) отсылала к храму Посейдона, подчёркивая морскую мощь империи.
Здание подняли на стилобат высотой почти 4 метра, что служило защитой от наводнений. Расчёт оправдался: во время катастрофического наводнения 1824 года вода остановилась у подножия
Перед зданием архитектор установил две ростральные колонны с аллегорическими скульптурами у подножий. По традиционной, но спорной атрибуции, они олицетворяли великие русские реки: Волгу, Днепр, Неву и Волхов.
Позднее, в 1826–1832 годах, архитектором И. Ф. Лукини были построены здания южного и северного пакгаузов и таможни, которые завершили архитектурный ансамбль площади.

Последующее использование
В 1913–1914 годах в главном зале биржи был сооружён железобетонный свод по проекту архитекторов М. М. Перетятковича и Ф. И. Лидваля.
С 1918 года в здании располагался клуб моряков. В 1920-е годы — торговая палата и биржа чернорабочих. В 1930 году здание было передано Академии наук СССР. В конце 1930-х здесь располагался музей авиации, а с 1939 по 2012 год — Центральный военно-морской музей.
В декабре 2013 года губернатор Петербурга Георгий Полтавченко принял решение о передаче Биржи Государственному Эрмитажу для создания музея Русской гвардии и геральдики