Иван Петрович Архаров в 1797 г., как и его брат, попал в опалу скорого на решения императора и был сослан в свое имение. В 1816 г. сгоревшие строения на его участке были проданы, и после нескольких владельцев усадьба с восстановленными главным зданием и хозяйственными постройками перешла в 1829 г. к Ивану Алексеевичу Нарышкину, жена которого была двоюродной теткой Натальи Гончаровой. Самого И.А. Нарышкина выбрали посаженым отцом на свадьбе Натальи Николаевны и Александра Сергеевича, и можно утверждать, что оба они могли бывать с визитами в этом доме.
По словам Яньковой, дом которой был рядом, «Ивану Александровичу было лет за пятьдесят; он был небольшого роста, худенький и миловидный человечек, очень учтивый в обращении и большой шаркун. Волосы у него были очень редки, он стриг их коротко и как-то особенным манером, что очень к нему шло; был большой охотник до перстней и носил прекрупные бриллианты».
Традиции гостеприимного дома при нем продолжались. Знаток московского быта А.Я. Булгаков записывает 5 апреля 1829 г.: «Вчера был прекрасный концерт d’amateurs (любителей) у Ивана Алекс. Нарышкина; пели обе Свечины, кн. Вл. Голицын, m-r Гау играл, на арфе маленький Витте, а на фортепьяно Agathe Хрущова; продолжалось только долго, почти до перваго часу. Весь beaumonde был тут… В старину в этом же доме веселились мы, бывало, у покойнаго Архарова, но дом этот нельзя теперь узнать, расположен иначе и прекрасно убран».
В 1865 г. знатные дворяне перестали быть владельцами старого дома — его приобрел владелец крупной текстильной фабрики в Серпухове Н.И. Коншин и занялся ремонтом и переделками, закончившимися через два года. После его кончины в 1898 г. вдова Александра Ивановна Коншина, которой осталось наследство более 10 миллионов рублей, полностью переделала существующий особняк (оставила только фасад 1867 г.) по проекту архитектора А.И. Гунста. Интерьеры были сделаны заново, архитектор спроектировал роскошные неоренессансные мебель, обои, скульптурные украшения, лепнину потолков, люстры, наборный паркет. За расходами не постояли — огромное цельное окно было доставлено из Италии в специальном вагоне. Освящение дворца происходило 21 мая 1910 г.
Через несколько лет после постройки дома владелица умирает и он переходит к наследникам, которые в марте 1916 г. продают его. Последнего хозяина особняка часто путают с его дальним родственником Николаем Путиловым, основателем известного петербургского Путиловского завода, но им был Александр Иванович Путилов, крупный финансист, председатель и член правлений более 50 акционерных предприятий, общественный деятель, ясно осознававший опасность наступающего большевизма. После 1917 г. он эмигрировал и активно боролся против коммунистов.
Некоторое время после захвата власти большевиками и переезда новых властей из Петрограда в Москву в особняке помещались их учреждения — в частности, здесь был «комиссариат по еврейским делам» (Евком). С 9 июня 1922 г. в особняке поселилась новая организация, ставшая известной под аббревиатурой ЦЕКУБУ, что означало Центральная комиссия по улучшению быта ученых.
В год организации «улучшения быта» Ленин задумал выслать из России несколько сотен ученых: непосредственной причиной было то, что большевики в обстановке только что объявленного НЭПа боялись политических требований свободы и старались избавиться от критиков их режима. Он бомбардирует ВЧК — ГПУ своими требованиями: «Подобных господ выслать за границу безжалостно. Очистим Россию надолго. Всех их вон из России». Одним из первых, кто принялся за выполнение директивы, был комиссар здравоохранения Н.А. Семашко, присутствовавший на съезде Всероссийского медико-санитарного общества и предложивший Ленину с помощью ГПУ «изъять» некоторых врачей.
Операция по отбору высылаемых была тщательно продумана, за учеными следили, в университетах, институтах, научных обществах учредили специальных группы содействия слежке.
За несколько дней во многих городах России чекисты врывались в квартиры ученых, отправляли их в тюрьмы и принуждали под страхом расстрела выезжать из страны. Так было отправлено несколько сот известных ученых. С собой не разрешалось брать почти ничего, чекисты снимали кольца, серьги и даже нательные кресты.
Тем, кто был честен, независим, кто обладал собственным мнением, давали «кнут»: таких арестовывали, ссылали, убивали, изгоняли из страны, а вот тем же, кто остался, в ком были уверены большевики, выдавались «пряники» — санаторное обслуживание, право питаться в столовых, пайковое снабжение. Для них и открыли Дом ученых — тот же Семашко, вошедший в правление Дома, докладывал через несколько месяцев о первых «мероприятиях» в Доме, о лекциях, кружках, литературных вечерах.