В советское время этот дом стал «домом коммуны ЦК и МК Всероссийского союза металлистов», но там квартировали не только металлисты. Уже в октябре 1918 г. коммунисты организовали химическую лабораторию под руководством химика и революционера А. Н. Баха, которая поместилась на трех этажах этого дома. Впоследствии она превратилась в большой институт — физико-химический, переехавший на Воронцово поле и продолжающий традиции лаборатории в работе над военными технологиями.
Другую часть усадьбы Лазаревой-Абамелек занял крупный доходный дом, выходящий на три переулка — Армянский, Архангельский и Сверчков, о котором рассказывал живший там мальчиком будущий писатель Юрий Нагибин. Три этажа дома выстроены в 1874 г. (архитектор А. Е. Вебер), в нем были и квартиры, и винные склады в подвалах (я еще помню так занимавшее меня, мальчишку, зрелище мытья бутылок). В 1924 г. он назывался домом-коммуной ОГПУ, и там насчитывалось 705 жильцов. Позже оно было надстроено, а в конце 1970-х гг. это когда-то жилое здание приспособили для учреждения.
В глубине двора на другом углу Сверчкова переулка расположено здание (№ 11) — памятник архитектуры. Предполагается, что здесь были палаты бояр Милославских, в XVIII в. владельцами палат были устюжский воевода, коллежский советник Я. И. Дашков, М. В. Дмитриев-Мамонов, князь Д. А. Волконский, коллежский асессор Н. А. Глебов, а с 10 марта 1790 г. капитан флота 2-го ранга князь Иван Сергеевич Гагарин.
С переходом этого владения к князьям Гагариным главный дом стал коренным образом перестраиваться под руководством архитектора М. Ф. Казакова, и в его объем были включены старые палаты. Их декор, восстановленный реставраторами, можно видеть за колоннами, поддерживающими балкон в центральной части здания.
По словам исследователей творчества Казакова, оно «несет на себе печать былого изящества и спокойной, благородной простоты, столь привлекательных в произведениях» этого архитектора.
В конце 1810 г. (22 декабря) этот дом покупает у братьев Григория и Сергея Гагариных за 55 тысяч рублей мать будущего поэта Е. Л. Тютчева, которая незадолго перед тем продала большое владение в Хитровском переулке и переехала со всей семьей сюда.
Лето Тютчевы проводили в своей усадьбе Овстуг, а по зимам жили в собственном московском доме — «одним словом, зажили тем известным образом жизни, которым жилось тогда так привольно и мирно почти всему русскому зажиточному, досужему дворянству, не принадлежавшему к чиновной аристократии и не озабоченному государственной службой, — рассказывал И. С. Аксаков в биографии Тютчева. — Не выделяясь ничем из общего типа московских боярских домов того времени, дом Тютчевых — открытый, гостеприимный, охотно посещаемый многочисленной родней и московским светом — был совершенно чужд интересам литературным, и в особенности русской литературы».
Но наставником Феди Тютчева был неординарный человек — Семен Егорович Раич, поэт, переводчик, издатель, педагог. «…Провидению угодно было вверить моему руководству Ф. И. Тютчева, вступившего в десятый год жизни, — вспоминал Раич. — Необыкновенные дарования и страсть к просвещению милого воспитанника изумляли и утешали меня; года через три он уже был не учеником, а товарищем моим, — так быстро развивался его любознательный и восприимчивый ум!»
Раич готовил своего воспитанника в университет, где он в качестве вольнослушателя присутствовал на лекциях с осени 1817 г., а с ноября 1819 г. — он уже своекоштный студент, но совсем скоро, через два года, Тютчев подает прошение о разрешении ему держать выпускные экзамены, которые он выдерживает и получает «кандидатское достоинство». В феврале 1822 г. он в сопровождении отца приехал в Петербург и был зачислен на службу в Государственную коллегию иностранных дел «с переименованием в губернские секретари». Он останавливается в доме дальнего родственника, героя Отечественной войны графа Остерман-Толстого, потерявшего руку в сражении при Кульме. Именно он испросил для Тютчева место сверхштатного чиновника дипломатической миссии в столице королевства Баварии Мюнхене, куда он уехал 11 июня 1822 г. «Странная вещь — судьба человеческая! — писал он родителям. — Надобно же было моей судьбе вооружиться уцелевшею Остермановою рукою, чтобы закинуть меня так далеко от вас!» Тютчев провел за границей 22 года, лишь ненадолго приезжая в Россию в отпуск.