Дом на набережной был построен на месте, где до этого находились винно-соляные склады, что нашло отражение в архитектуре его внутренних дворов. За ходом строительства следил лично А.И. Рыков. По первоначальному проекту дом должен был быть красным, как и Кремль, однако, в связи с нехваткой денег, внешние стены дома стали серыми. Проект дома принадлежал известному советскому архитектору Б.М. Иофану. На Всехсвятской улице (ныне Серафимовича, дом 2) всего за четыре года вырос гигантский комплекс, по тем временам самый крупный жилой комплекс в Европе. Этот грандиозный дом был создан для прекрасной, фантастической по тем временам жизни. Человеку, очутившемуся там, могло показаться, что он попал в рай.
Иофан – автор советских павильонов на Всемирных выставках в Париже и Нью-Йорке, санатория «Барвиха», Института химии им. Карпова, некоторых зданий Тимирязевской академии, Института физической культуры, университета на Ленинских горах, станции метро «Бауманская». Он руководил большим коллективом талантливых архитекторов, может быть, поэтому его проекты отличаются единством стиля. Стройку курировал Ягода.
Камень подвозили на телегах и на баржах по реке. Набережной не было, а был только заросший травой берег. Мимо стройки, огороженной деревянным забором, проходил трамвай. На Канаве была пристань – как раз в том месте, где сейчас берет начало мост к Третьяковской галерее. Пристань потом назвали «Дом Правительства», и к ней причаливали речные трамвайчики.
Дом включал в себя клуб (ныне Театр эстрады), кинотеатр «Ударник» на полторы тысячи мест. В «Ударнике» был читальный зал – перед началом сеанса можно было посмотреть газеты. Кроме этого в Доме расположились спортивный зал, универмаг, прачечная и амбулатория, сберкасса и отделение связи, детский сад и ясли. В столовой жители дома по талонам получали готовые обеды и сухие пайки, так что самим готовить пищу было необязательно.
Дом начинался с необычных дворов: в каждом из них бил фонтан. Дворы охранялись (бывало, их даже закрывали на ночь, а в подвале держали служебных собак). В каждом подъезде дежурил вооружённый вахтёр, перед которым нужно было отчитаться в целях визита (если, конечно, вы не были жильцом дома). А вот чтобы попасть в подъезд, где жили самые важные персоны, необходим был специальный пропуск. Более того: если именитый хозяин одаривал чем-то гостя или давал почитать книжку, без разрешающей сопроводительной записки из подъезда не выпускали.
На лестничных площадках были подвешены фонари со свечами и коробками спичек: на случай аварии в электросети. На каждой площадке расположены по две квартиры, чаще одна напротив другой. В квартирах был дубовый паркет, художественная роспись на потолках. Фрески делали специально приглашённые из Эрмитажа живописцы-реставраторы. На потолках красовались пейзажи разных времён года, цветы, фрукты. На кухне имелось отверстие в стене для самоварной трубы и выход грузового лифта, на котором вывозили мусор. Лифтом заведовал вахтёр, наверх пассажир поднимался в компании сопровождающего, вниз приходилось спускаться пешком или стучать по металлической двери шахты, чтобы вахтёр услышал и поднялся.
Квартиры были просторные, с удобной планировкой, только вот кухни совсем небольшие, хотя и оборудованные по последнему – на тот момент – слову техники газовыми плитами. Мебель в доме была унифицирована: стулья, столы, буфеты и прочее имели бирки инвентарных номеров. Все было одинаковое, стандартное, тяжелое, специально сконструированное Иофаном и техником-конструктором Головским. Жильцы, въезжая, подписывали акт приемки, в котором учитывалось всё – вплоть до шпингалетов и дубовой крышки от унитаза. Если вдруг чего-то не хватало, можно было сделать дополнительный заказ – мебельный склад располагался рядом, в одном из дворов дома.
В 30-е годы наличие горячей воды в домах было редкостью – мылись в общественных банях. В Доме на набережной эта проблема, естественно, была решена, так что туда ходили не только в гости, но и помыться.
Подъезд дома № 11 – нежилой, в нём нет ни квартир, ни лифтов. Предполагается, что отсюда или прослушивали квартиры жильцов других подъездов, или за стенами скрыты некие тайные помещения. Помимо этого подъезда в доме имелись конспиративные квартиры чекистов. Чекисты работали в доме под видом комендантов, консьержей, лифтёров и в своих квартирах встречались со своими осведомителями или прятали таинственных жильцов, как, например, агента советской разведки в Южной Африке Дитера Герхардта.