В 1740-х годах левую часть участка занимал второй дом С.Я. Яковлева, хозяина соседнего владения (№ 52/14), а с правой стороны построил собственный дом архитектор Главной полицмейстерской канцелярии П.А. Трезини, крупный мастер петербургского барокко. Вскоре весь квартал перешел к графу И.И. Шувалову – видному государственному деятелю, фавориту императрицы Елизаветы Петровны, покровителю наук и искусств. В 1750–1751 годах, вероятно, по проекту архитектора С.И. Чевакинского оба дома были перестроены в единое импозантное здание, которое стало первым звеном дворцового комплекса И.И. Шувалова. Дворец был возведен С.И. Чевакинским в 1753–1755 годах (Итальянская улица, № 25). До переезда во дворец Шувалов жил в доме на Невском, где часто бывали М.В. Ломоносов, А.П. Сумароков, В.К. Тредиаковский. В этот период Шувалов основал Московский университет (1755 год). По возвращении из-за границы в 1777 году он вновь поселился в этом доме. Его посещали А.А. Безбородко, Е.Р. Дашкова, Г.Р. Державин.
После кончины И.И. Шувалова в 1797 году наследницей стала его племянница В.Н. Головина (автор мемуаров о царствовании Павла I). В начале XIX века ее дом перестроил Л. Руска.
В 1825 году участок приобрел миллионер промышленник Н.Н. Демидов. Затем домом владел его сын А.Н. Демидов князь Сан-Донато, выдающийся благотворитель, основатель Демидовского дома призрения трудящихся – первого в России Дома трудолюбия. В 1841 году архитектор А.Х. Пель пристроил четырехэтажный корпус по Малой Садовой улице.
Дом на Невском называли «Демидовская гостиница». Содержательницей ее была О. Шатильон, подруга архитектора О. Монферрана, которая сдавала комнаты приезжим артистам. В 1843 году в гостинице останавливался директор Итальянской оперы в Париже Луи Виардо со своей женой, певицей Полиной Виардо, которую здесь впервые увидел И.С. Тургенев. С 1855 года здесь жила и в 1859 году скончалась популярная в Петербурге итальянская оперная певица А. Бозио.
В 1865–1880 годах в здании находился книжный магазин и библиотека для чтения участника революционного движения А. А. Черкесова. Затем его библиотекой заведовала издательница О.Н. Попова. В 1919 году библиотека была национализирована и стала Центральной коммунальной библиотекой Петрограда, впоследствии составила ядро Центральной городской библиотеки им. В.В. Маяковского. В 1877–1910-х годах в доме размещался лучший букинистический магазин Петербурга фирмы «Российская библиография» Э.К. Гартье.
В 1878–1917 годах домом владели А.М. Ушаков и его наследники. Купец 1-й гильдии А.М. Ушаков занимался огородничеством и садоводством, был крупным домовладельцем и благотворителем. Перестройка здания с возведением третьего и четвертого этажей и оформление в пышных формах зрелой эклектики произведена архитектором П.Ю. Сюзором в 1882–1883 годах. В верхней части фасада выделяются два массивных эркера, обрамленные колоннами и лучковыми фронтонами, на углу – изящный круглый эркер с колоннами, увенчанный куполом. Скульптуры созданы Д.И. Иенсеном.
Дом занимали меблированные комнаты, заведение братьев Мори и магазины – кондитерский Ф. Балле, музыкальный «В. Бессель и К°», модной одежды, фабрики шляп К. Ландрата, Товарищества механического производства обуви, осветительной арматуры А. Крумбюгеля, богемского хрусталя Гарраха, оптических и физических приборов И.Я. Урлауба
Здание стало центром петербургской фотографии. Еще в 1865 году сюда переехала фотография швейцарца Д. Бианки, оставившего уникальные виды столицы и окрестностей. Потом в доме работало фотоателье Бореля. В 1908 году здесь обосновалась широко известная мастерская фотографа К.К. Буллы – автора фотопортретов царской семьи, деятелей русской культуры, видов Петербурга, фотографий интерьеров дворцов и особняков, жанровых сцен и событий. К.К. Булла явился основоположником хроникального фоторепортажа. После революции до своего ареста в 1937 году директором ателье был его сын, В.К. Булла.
В 1895–1907 годах в доме находились книжный магазин и контора издательского товарищества О.Н. Поповой. Издательство выпускало книги по общественным наукам, истории, праву, публицистике, распространяло социал-демократическую литературу. В 1910-х годах работало издательство художника-карикатуриста З.И. Гржебина, с 1919 года по инициативе А.М. Горького выпускавшее художественную и научно-популярную литературу.