После ареста Берии Круглов сохранил должность министра внутренних дел, и несмотря на то, что для многих он был «подручным Берии», Круглов удалил из министерства и арестовал некоторых руководителей прежнего НКВД, отданных под суд как пособников Берии. Одновременно Круглов реформировал министерство, и именно ему приписывается инициатива создания Комитета государственной безопасности. Так, 4 февраля 1954 года глава МВД СССР подал в Президиум ЦК КПСС докладную записку, в которой говорилось: «Существующее организационное построение Министерства внутренних дел СССР и его органов громоздко и не в состоянии обеспечить должного уровня агентурно-оперативной работы в свете задач, поставленных перед советской разведкой Центральным Комитетом КПСС и Советским правительством. В целях создания необходимых условий для улучшения разведывательной и контрразведывательной работы считаем целесообразным выделить из Министерства внутренних дел СССР оперативно-чекистские управления и отделы и на их базе создать Комитет по делам государственной безопасности при Совете Министров СССР… Проведение предлагаемых организационных мероприятий предусматривается в пределах утвержденной на 1954 год сметы на содержание Министерства внутренних дел СССР. При организации Комитета по делам государственной безопасности при Совете Министров СССР предусматривается существующую штатную численность оперативных управлений и отделов как в центре, так и на местах сократить на 20 %, что составит 15 956 штатных единиц с годовой экономией государственных средств 346 млн рублей… Предусматривается также сокращение штатной численности органов МВД как центрального аппарата, так и периферийных на 20 %, что даст сокращение 8839 штатных единиц с годовой экономией 194 млн рублей. В целом сокращение аппаратов Комитета по делам государственной безопасности и МВД СССР даст экономию государственных средств в год в сумме 860 млн рублей». После этого состоялось заседание Президиума ЦК КПСС. В протоколе заседания (Президиума ЦК КПСС № 50, 1954 г.) были следующие строки:
«Об образовании Комитета государственной безопасности при Совете Министров СССР
1. Принять в принципе проект постановления ЦК о выделении из МВД СССР органов государственной безопасности и об образовании Комитета государственной безопасности при Совете Министров СССР.
2. Утвердить министром внутренних дел СССР т. Круглова С. Н.
3. Утвердить председателем Комитета государственной безопасности при Совете Министров СССР т. Серова И. А. и первым заместителем председателя Комитета т. Лунева К. Ф.».
13 марта 1954 года был образован КГБ, возглавленный Иваном Серовым. Но вскоре карьера самого Круглова не задалась. В январе 1956 года (за несколько дней до открытия того самого XX съезда партии) Круглов был снят с поста министра (как протеже Маленкова или «выкормыш Берии»?) и назначается на третьезначимую должность заместителя министра строительства электростанций СССР.
По словам сына Н. С. Хрущева (
Семидесятилетний Круглов умер 6 июля 1977 года, попав под поезд возле платформы Правда Ярославского направления Московской железной дороги.
Как утверждает сын Лаврентия Павловича (
Якобы тогда был уничтожен один из аулов, жители которого отказались подчиниться приказу о выселении. Ответственность за действия военнослужащих НКВД была возложена на С. Н. Круглова. По другой, официальной версии, генерал-полковник был сбит поездом.