Первые названия улицы – Вторая Береговая, с 1730-х до 1777 года, затем – Первая Артиллерийская, с 1777 по 1806 год. Имя «Захарьевская» улица получила по названию полковой церкви кавалергардов святого Захария и Елизаветы, находившейся в районе нынешнего дома № 20–22, Академия имени Комаровского.
Церковь построена Л.Н. Бенуа в стиле елизаветинского барокко. Она была одновременно и музеем боевой славы кавалергардского полка: здесь хранились памятные доски, штандарты и награды. Церковную утварь изготовила знаменитая ювелирная фирма Карла Фаберже. Росписи были выполнены художником М.В.Нестеровым. Оригинальной особенностью церкви являлся ее покатый пол, который постепенно понижался к алтарю, что давало возможность молящимся в конце храма видеть все богослужение.
В 1935 году церковь закрыли, устроив в ней спортзал, а в 1948 году вообще снесли. Теперь на её месте находится корпус Военного инженерно-строительного университета. В 1923 году Захарьевская улица была переименована в улицу Каляева в честь боевика партии эсеров Ивана Каляева, который был казнён за убийство в 1905 году московского генерал-губернатора великого князя Сергея Александровича. Символично что улица носила имя террориста-одиночки, и здесь же находилось учреждение с которым связан уже массовый террор 30-х годов — Большой дом.
Современное название улицы было восстановлено в 1991 году. C Захарьевской связаны многие известные имена: вдова Менделеева Анна Ивановна проживала здесь в доме № 5 после смерти своего мужа, шеф жандармов Л.В. Дубельт жил здесь в собственном доме, сейчас дом №13, архитектор Н.В.Дмитриев, Карл Густав Маннергейм – кавалергард, будущий маршал и президент Финляндии — жил в доме №31, на его месте — Особняк Нейгардта.
История и виртуальная экскурсия по Санкт-Петербургу»: Большой дом.
