В 1840-х гг. усадьба продается купцам-чаеторговцам Рудаковым — как еще раньше писал Пушкин: «Купечество богатеет и начинает селиться в палатах, покидаемых дворянством». Другие владельцы обосновались здесь надолго — с 1860-х гг. до 1900-х гг. Как писал московский бытописатель, автор книги «Из прошлого Москвы» Д. Никифоров, «дом от Хрущева перешел со всею обстановкой к купцу Рудакову, а им продан был в начале 60-х годов Д.С. Селезневу. Дом со всею обстановкой поддерживается в том же виде, как был при Хрущевых; даже старинные картины не переменили своих мест». Остался и герб нового владельца на парадном фасаде особняка. В 1900-х гг. его наследники пожертвовали усадьбу московскому дворянству для детского приюта, в советское же время о дворянских детях заботиться было некому и в особняке поселились чиновники Главнауки Народного комиссариата просвещения. В 1924–1931 гг. тут работал музей игрушки, а с переводом его в Загорск (Сергиев Посад) здание заняла архитектурная мастерская Н.Я. Колли, после войны тут были и эстонское представительство, и бюро по обслуживанию иностранцев, и Комитет по делам репатриации, и Институт востоковедения, и Институт славяноведения. В 1949 г. в особняке открылась выставка «А.С. Пушкин. К 150-летию со дня рождения», а в 1957 г. состоялось решение о передаче особняка для организации московского музея Александра Сергеевича Пушкина. После сложной, трудоемкой, тщательной реставрации музей был открыт 6 июня 1961 г. К 200-летию со дня рождения поэта здания на территории бывшей усадьбы были приспособлены для музейных целей, двор был накрыт стеклянным потолком, построено новое здание на углу Гагаринского переулка.
Левая сторона Хрущевского переулка ничем особо интересным не привлекает: на углу с Пречистенкой — двухэтажное здание хороших сдержанных пропорций, названное искусствоведами с плохо скрытым неодобрением типичным примером «эклектичного направления». Оно построено в 1876 г. известным тогда архитектором А.С. Каминским для купчихи Марии Матвеевой. Нижний этаж унаследован от здания начала XIX в. полковника князя Н.С. Вяземского, отца декабриста Александра Николаевича. Его миновала беспощадная рука царя: хотя и знал он о цели общества ввести конституцию, но в «происшествии 14 декабря участия не принимал» и отделался легко. Другие строения на этой стороне Хрущевского переулка занимают дипломатические учреждения, из которых посольство Люксембурга (№ 3) находится уж в очень неприглядном строении.
Чертольский переулок. До 1922 г. он назывался Царицынским, называвшимся, как писал историк московских названий А.А. Мартынов, по слободе «царицынских боярских детей» — он при поисках в архиве нашел здесь дворы «царицыных сыновей боярских» Ивана Волжинского и Дружины Байкова. Эти «сыновья», которых при дворе находилось около 100 человек, исполняли различные поручения цариц и в городе, и в загородных поездках, охраняя экипажи. Нынешнее название — Чертольский переулок — происходит от старинного имени урочища — Чертолье, в начале Гоголевского бульвара и по Соймоновскому проезду, где был овраг, по которому протекал ручей Черторой. Он же и дал имя и радиальной улице Большой Чертольской, переименованной в 1658 г. царем Алексеем Михайловичем в Пречистенку, так как она вела к монастырю в честь Пречистой Богоматери. В XIX в. бытовало название Божедомский переулок — по церкви.
В этом переулке в несохранившемся доме № 6 жил и в 1890 г. умер художник В.В. Пукирев, автор широко известной картины «Неравный брак». По левую сторону от памятного знака находится самое древнее сооружение в этом районе — каменные палаты XVII в. на высоком подклете. В древних палатах, на втором этаже, куда ведет крутая лестница, жил первый председатель Общества изучения русской усадьбы, талантливый искусствовед В.В. Згура. Сюда поднимались многие известные историки, краеведы, любители прошлого, здесь проходили заседания Общества, так много сделавшего для постановки изучения и сохранения усадебного наследия. Згура умер рано — ему исполнилось 24 года, он нелепо погиб, утонув 17 сентября 1927 г. во время купания в Крыму (писали, что это произошло во время трагического землетрясения в ночь на 12 сентября).
Каменные палаты, возможно, принадлежали церкви Спаса, которая находилась на месте здания средней школы, построенной в 1935 г. Здание церкви образовывало интересный контрастный ансамбль с ампирным домом на углу Пречистенки и Хрущевского переулка. Она была разрушена весной 1934 г., когда по всей Москве сносились церковные здания, освобождая тем самым место для школ. Рядом со школьным зданием — памятный знак, посвященный воспитанникам московских специальных артиллерийских школ, проявившим мужество и героизм в Великой Отечественной войне (скульптор О.А. Коломойцев).