Уже с 1920 г. устроили там внутреннюю тюрьму, значительно увеличенную в начале 1930-х гг. В единственном исследовании в обширной москвоведческой литературе, посвященном Лубянке, сделанном историком К. А. Аверьяновым, подробно описывается эта тюрьма, о которой ранее ничего не было известно. Называли ее «нутрянкой», режим был очень строгим, запрещались свидания и передачи. В инструкции по управлению тюрьмой говорилось, что «внутренняя (секретная) тюрьма имеет своим назначением содержание под стражей наиболее важных контрреволюционеров и шпионов на то время, пока ведется по их делам следствие, или тогда, когда в силу известных причин необходимо арестованного совершенно отрезать от внешнего мира, скрыть его местопребывание, абсолютно лишить его возможности каким-либо путем сноситься с волей, бежать и т. п.». В 1956 г. в ней было 118 камер на 350 мест; прогулочные дворы, отгороженные высокими стенами, находились на крыше, куда заключенных поднимали грузовые лифты. В этой тюрьме побывали виднейшие соратники Ленина, члены Политбюро и ЦК, военачальники, иностранные коммунисты, деятели культуры, очень многие известные люди — тут и Бухарин с Каменевым, и Мейерхольд, и Тухачевский с Блюхером, похищенный в Париже генерал Кутепов, и еще многие и многие… Теперь, как говорят, почти вся бывшая тюрьма переделана в кабинеты.
В разгар террора в конце 1930-х гг., когда арестовывали десятки и сотни тысяч, выяснилось, что «большой дом» уже недостаточно большой, и в 1939 г. заказали архитектору А. В. Щусеву сделать проект нового строения. Сначала предполагалось возвести помпезное сооружение с огромной, высотой в шесть этажей, аркой с затейливым обрамлением больших часов над ней, заимствованным из здания страхового общества, но затем решили ограничиться более скромным и сдержанным фасадом. Из-за войны к 1948 г. выстроили только правую часть здания, — так и стояли рядом два строения, одно еще дореволюционное, а второе советское, резко от него отличающееся. В 1986 г. оба здания объединили одним фасадом.
На здании мемориальная доска главы этой организации на протяжении 15 лет Ю. В. Андропова. Ее было сняли, но недавно восстановили.
Левая сторона Мясницкой улицы теперь начинается небольшим пустырем, на который выходит украшенное русским декором здание под № 3, построенное в 1897 г. по проекту архитектора В. Е. Сретенского для Московской духовной консистории (в православной церкви учреждение по управлению епархией; название произошло от латинского слова consistorium, то есть место собрания или совет).
Небольшое строение, стоявшее перед консисторским домом на месте нынешнего пустыря, имело давнюю и интересную историю. В нем находилось Рязанское архиерейское подворье, впервые упоминаемое в 1588 г., когда сюда было велено поместить неожиданно приехавшего за милостыней константинопольского вселенского патриарха Иеремию. Его пребыванием московские власти воспользовались для учреждения в России патриаршества. Он не соглашался, но после долгих уговоров, которые проходили и в Кремле, и здесь, на Мясницкой, куда приезжал Борис Годунов, патриарх уступил, и в январе 1589 г. первым московским патриархом стал Иов.
В Рязанском подворье жил и скончался в 1722 г. назначенный Петром I «местоблюстителем патриаршего престола» Стефан Яворский, знаменитый проповедник, который, по словам современника, имел удивительный дар: «Он своими поучениями мог возбуждать в слушателях смех или слезы, чему много способствовали движения тела, рук, помавание очей и лица пременение, что природа ему дала». Тут он работал над полемическими сочинениями, и тут его посещал святитель Димитрий Ростовский, его друг и сотрудник. Некоторое время, до получения двора на Пресне, на подворье жил грузинский царь Вахтанг со свитой. С 1774 по 1801 г. здесь обосновалась Тайная экспедиция (давние традиции Лубянки!), где допрашивали Емельяна Пугачева и Н. И. Новикова. Здание это наводило страх на москвичей, известно было, что там пытали заключенных в каменных мешках. «Старожилы Московские еще запомнят железные ворота сей Тайной, обращенные к Лубянке; караул стоял во внутренности двора. Страшно было, говорят, ходить мимо, и страх сей служил к обузданию строптивых», — писал И. Г. Гурьянов, автор московского путеводителя начала XIX в. По словам Гиляровского, он видел, как разрушали это здание, и видел подвалы, а в них какие-то ниши, в которых, как ему рассказывали, находили прикованные цепями скелеты.