По-видимому, в 1720-х годах Скляев вместо деревянного построил себе каменный дом, о чём упоминает в 1728 году Д. Трезини, когда в камне выстраивал Зимний дом Петра I.
Каменный дом был «длиною на девяти саженях, поперек на семи саженях и 5 футах вышиною, в два апартамента (этажа)».
Если в нижней части современного здания произвести расчистку и обследование, то здесь можно обнаружить старую кирпичную кладку первой трети XVIII века.
Перед домом была оборудована пристань, которая в петровском указе от 23 июня 1719 года приводится как образец для других владельцев домов по Неве.
После смерти Ф. Скляева дом сменил много именитых хозяев.
В 1740-х годах, во время правления Анны Леопольдовны и малолетнего её сына императора Ивана VI, в доме поселилась любимая фрейлина Анны Леопольдовны Юлия Менгден.
Для неё дом был перестроен архитектором Джузеппе Трезини, зятем Доменико Трезини.
Облик дома этого периода запечатлен на рисунке из Стокгольмской коллекции.
Это было двухэтажное здание на высоком цокольном этаже («на погребах»), чтобы обезопасить себя от частых подъемов воды.
Вскоре это здание стало занимать всю ширину участка и вплотную примкнуло к Зимнему дворцу, перестроенному Д. Трезини.
В этот период дом называли «Дворцовой канцелярией», потому что в нём также разместили офицеров, охранявших Антона Ульриха, мужа Анны Леопольдовны.
К 30-м годам XIX века фасад дома, выходящий на Неву, изменился в соответствии с архитектурными понятиями того времени.
Исчезли детали, характерные для архитектуры петровского времени, надстроен третий этаж.
Это уже был классический особняк жёлтого цвета с балконом в центре второго этажа и с треугольным фронтоном.
С этим домом связана трагическая судьба поэта А. С. Пушкина, где он 23 января 1837 года услышал в адрес Натальи Николаевны одну из «армейских» острот Дантеса, в результате чего состоялась ссора и трагическая дуэль.
Тогда это уже был дом Воронцовых-Дашковых, в котором также 9 февраля 1841 года другой великий русский поэт М. Ю. Лермонтов повстречался на балу с младшим братом царя Николая I Михаилом Павловичем, который отправил его на Кавказ, где поэт тоже погиб на дуэли.
В 1877-78 годах архитектор Николай Фёдорович Беккер, строитель многих жилых домов Петербурга, вновь перестроил дом. Фасад, выходящий к Неве, потерял облик классической постройки, тем более что к нему был надстроен и четвертый этаж.
Здесь напротив царского дворца и дома Скляева в петровское время на воде была построена пристань, от которой начинались парады «Невского флота».
Речь идет о «Невском флоте», учрежденном Петром I весной 1708 года с целью обучения российской знати плаванию под парусами.
Этот флот тогда состоял из малых судов под управлением И. С. Потемкина, прозванного Петром «Невским адмиралом».
На Неве был такой обычай. Когда адмиральский буер под особым флагом выйдет на воду, то под страхом штрафа должны были выйти все суда сподвижников Петра.
Адмиральский буер всегда должен был идти впереди, а все остальные не опережая следовать за ним.
На буерах обычно находились сенаторы, министры и другие господа, весело развлекаясь под звуки труб и музыки. Пётр подчас лично руководил движением этих судов по Неве.
Один из иностранцев отметил один из таких дней 19 ноября 1710 года в своих воспоминаниях. Он писал: «Тогда дул сильный ветер, и царь, как всегда, воспользовался этим случаем, чтобы покататься на своем буере под парусом, вверх или вниз по Неве… Царь встретил на фарватере и завернул назад около тридцати шлюпок, которые вопреки изданному здесь когда-то положению шли при благоприятном ветре не под парусами, а на веслах. Лодки, нарушающие это правило, платили штраф в размере 5 рублей с весла.
Означенные шлюпки… были задержаны и с них за провинность потребовали штраф. На одной из них, шестивесельной, шёл вице-канцлер Шафиров, на двух других, десятивесельных, великий канцлер Головкин и его свита».
Пришлось заплатить штраф.
Напротив дома Скляева проходил и ежегодный христианский праздник выхода царя к «Иордани» (ритуальной проруби) в день Водосвятия.
В Кремле такой выход царя на лед Москвы-реки назывался «походом», а здесь — «водосвятием».
Праздник Водосвятие восходил к первым греческим христианам. Прежде полагали, что проточная вода особенно хорошо смывает грехи, отчего первые христиане стремились креститься в проточных реках.
Этот обычай первых христиан требовал, чтобы дети и взрослые, обращенные из язычества в христианскую веру, погружались в воду трижды. Он сохранился во всю пору существования христианской веры и на Руси.
Этот день называется Крещением и отмечается 6 января в день праздника Богоявления.
Первое описание водосвятного молебна на Неве сделал неизвестный автор в 1711 году.