В 1858 году участок приобрели почетные граждане, представители богатого купеческого рода братья Г.П. и С.П. Елисеевы, основавшие годом раньше торговый дом «Братья Елисеевы». Потом здесь осталась жить семья С.П. Елисеева, занимавшая корпус на набережной реки Мойки. В 1859–1860 годах архитектор Н.П. Гребенка перестроил главное здание по Невскому проспекту. Он заменил нижние колонны в центре фасада массивными пилонами, изменил рисунок наличников, ввел круглые окна, перестроил Большой зал, а также расширил дворовые флигели, надстроил четвертым этажом дом на Мойке и выполнил «перештукатурку» его фасада в приемах ранней эклектики.
Парадные помещения дома на Невском с 1860-х и до 1910-х годов занимало Благородное собрание. В его состав входили «лица благородного звания и почетного купечества». Балы и маскарады, карточные игры чередовались с музыкальными и литературными вечерами. Здесь давало концерты Русское музыкальное общество, созданное А.Г. Рубинштейном, читал лекции композитор А.Н. Серов, выступали с чтением своих произведений Ф.М. Достоевский, И.С. Тургенев, М.Е. Салтыков-Щедрин, А.Н. Плещеев, Я.П. Полонский. В спектаклях участвовали актеры Александрийского театра. С января 1862 года проходили заседания Шахматного клуба, учрежденного меценатом графом Е.А. Кушелевым-Безбородко. Членами клуба были Н.Г. Чернышевский, Н.А. Некрасов, Д.И. Писарев, Н.А. Серно-Соловьевич, B.C. Курочкин, Н.Г. Помяловский, И.И. Панаев, П.Л. Лавров. По существу, это был литературный клуб, служивший средоточием вольной общественно-политической мысли. Летом того же года он был закрыт властями.
С 1879 года хозяином домов стал П.С. Елисеев – крупный банкир, занимавшийся благотворительной деятельностью. В зале Благородного собрания в 1890-х годах давала бесплатные спектакли оперная и драматическая труппа И.П. Зазулина (в 1895 году – с участием студента В.И. Шверубовича, будущего актера Качалова). С 1901 года домовладение перешло к С.П. Елисееву, продолжившему дело отца. Он также был коллекционером, собранные им произведения О. Родена поступили затем в Государственный Эрмитаж. В 1902–1904 годах особняк на Мойке был реконструирован архитектором А.К. Гаммерштедтом, создавшим отделку интерьеров в исторических стилях и в формах модерна (реставрированы в 1980-х годах). В нем сохранились витражи рижской мастерской Э. Тоде.
Часть дома на Невском в конце XIX – начале XX века занимали конторы разных банков и ряд магазинов, в том числе велосипедов фирмы «Дуке». В 1914 году здание приспосабливалось для Центрального банка обществ взаимного кредита, учрежденного в 1909 году.
В 1919 году по инициативе М. Горького здесь был создан Дом искусств (ДИСК), просуществовавший до 1923 года. Литературной студией ДИСКа руководил К.И. Чуковский, поэтическую секцию вел Н.С. Гумилев, секцию художественной прозы возглавлял Е.И. Замятин. В 1921 году сложилась творческая группа «Серапионовы братья», в которую вошли молодые М.М. Зощенко, Вс. В. Иванов, В.А. Каверин, Н.С. Тихонов, К.А. Федин, М.Л. Слонимский. В ДИСКе бывали и выступали М. Горький, А.А. Блок, А. Белый, А.А. Ахматова, Ф.К. Сологуб, В.В. Маяковский, Ю.Н. Тынянов, А.Ф. Кони, Г. Уэллс.
В ДИСКе жили В.И. Иванов, А.М. Ремизов, В.Я. Шишков, Н.С. Гумилев, В.Ф. Ходасевич, М.Л. Лозинский, О.Э. Мандельштам, М.С. Шагинян, В.Б. Шкловский, Г.В. Иванов, М.М. Зощенко, К.А. Федин, И.В. Одоевцева, В.А. Рождественский, Н.С. Тихонов, М.Л. Слонимский, Н.Н. Берберова; художники К. С. Петров-Водкин, К.А. Сомов, М.В. Добужинский, С.Ю. Судейкин, Ю.П. Анненков, искусствовед Н.Н. Пунин, географ В.Н. Таганцев. Здесь А. Грин написал «Алые паруса», Вс. В. Иванов – «Бронепоезд 14–69», О.Д. Форш – «Одеты камнем». Жизнь ДИСКа описала Форш в романе «Сумасшедший корабль». 3 августа 1921 года здесь был арестован Н.С. Гумилев.
В 1921–1923 годах в доме на Мойке работало издательство «Аквилон», выпускавшее прекрасно оформленные книги с иллюстрациями художников-мирискусников. В 1923 году на Невском открылся кинотеатр «Светлая лента» (с 1931 года – «Баррикада»), в котором тапером-иллюстратором работал молодой Д.Д. Шостакович. В 1920-х годах в зданиях находились Хореографический техникум, Деловой клуб руководителей промышленных и торговых предприятий, комиссионный магазин «Искусство и старина», столовая «Пролетарий». Затем – Клуб работников социалистической промышленности и «Союз воинствующих безбожников», Дом партийного просвещения.
В здании на Мойке в 1990-х годах открылся фешенебельный клуб «Талион». Для него были отреставрированы исторические интерьеры, сооружен стеклянный объем ресторана «Виктория». В 2001–2003 годах завершилась реконструкция этого здания с устройством атриума по проекту И. Ерохова и М. Соснило. В 2000 году на Невском на месте популярного в прошлые десятилетия кафе «Дружба» открылась самая большая в городе кофейня «Идеальная чашка». С ней соседствовали Стоматологический центр ГПЦ ПАКС и кафе-клуб Paranormal.