Как пишет в своих воспоминаниях Власик, Сталин позвонил секретарю ЦК Г. М. Маленкову и распорядился освободить Берия от обязанностей наркома внутренних дел. Его преемником на этом посту был назначен генерал С. Н. Круглов, а курировать работу вновь образованного министерства — МГБ — вместо Берия с 1946 года стал один из главных организаторов обороны Ленинграда в годы войны, секретарь ЦК А. А. Кузнецов. Возможно, если судить по вышеприведённому отрывку из воспоминаний Власика, он несколько преувеличил свою роль в отстранении Берия (против последнего так же негативно был настроен и Василий Сталин). Но Берия, чьи люди прослушивали все разговоры в кабинете главы государства, вряд ли мог простить начальнику сталинской охраны подобные слова. Их противоборство резко обострилось.
В 1947 году Власик получает сведения о «бесхозяйственности и расхищении государственного имущества» на государственной даче Берия и докладывает об этом Сталину. Возмущённый Сталин отдаёт распоряжение передать дачу в ведение Главного управления охраны. Люди Берия из МВД наносят контрудар — арестовывают подчинённого Власика, коменданта Ближней дачи Федосеева (этот эпизод описан в публикуемых ниже дневниках). У арестованного буквально выбивают признание о готовящемся покушении на Сталина, главным организатором которого является… генерал Власик. Сталин тогда этому не поверил. Однако положение генерала становилось всё более сложным. В 1950 году в результате закулисных интриг Берия и Маленкова, по сфабрикованному «ленинградскому делу» были приговорены к расстрелу видные государственные деятели, подлинные патриоты своей страны, в числе которых — бывший куратор МГБ, секретарь ЦК А. А. Кузнецов. Инициатива начинает переходить к Берия и его подручным. В том же году ему удаётся вернуть прежнее расположение Сталина. Во время отдыха Сталина на юге Берия приезжает к нему с докладом о завершении работ по созданию советской атомной бомбы, демонстрирует фильм о её первых испытаниях. «Это явилось переломным моментом в отношении Сталина к Берия», — вспоминал впоследствии Власик.
В 1951 году Власик получает информацию о коррупции в Грузии (бывшей партийной вотчине Берия) и докладывает об этом Сталину. В результате проведённого расследования многочисленные факты о взяточничестве подтвердились. Своего поста лишается первый секретарь ЦК компартии Грузии Чарквиани, его сменяет давний враг Берия Мгеладзе. Начинает раскручиваться так называемое «мингрельское дело», перерастая уже из чисто уголовного в политическое. «Берия никогда не мог мне этого простить, — вспоминал Власик, — и он стал ждать удобного случая, чтобы скомпрометировать меня перед Сталиным».
Развязка наступила скоро. 29 апреля 1952 года начальник Главного управления охраны МГБ был отстранён от должности по надуманному обвинению в злоупотреблении служебным положением. На этом посту Власика сменяет сам глава МГБ С. Д. Игнатьев, а генерала фактически отправляют в ссылку — на скромную должность заместителя начальника исправительно-трудового лагеря МВД в городе Асбесте Свердловской области. В самый разгар так называемого «дела врачей», 16 декабря 1952 года, Власик был арестован. Его обвинили в сокрытии письма Л. Ф. Тимашук, которое, как известно, и положило начало «делу» о кремлёвских «врачах-отравителях» (сам Власик изначально отнёсся к письму как к провокации и не дал хода этому «документу»). «После ареста Власика немилосердно избивали и мучили, — вспоминал впоследствии генерал-лейтенант МГБ П. А. Судоплатов, — его отчаянные письма к Сталину о невиновности остались без ответа. Власика вынудили признать, что он злоупотреблял властью, что он позволял подозрительным людям присутствовать на официальных приёмах в Кремле, на Красной площади и в Большом театре, где бывали Сталин и члены Политбюро, которые… могли быть подставлены под удар террористов». Николай Власик был лишён генеральского звания, государственных наград (в том числе и боевых) и исключён из партии.
Да, Сталин отступился от преданного ему человека, который проработал под его началом 25 лет. Стареющий и чрезмерно подозрительный в последние годы жизни Вождь, удаляя от себя и отдавая на расправу верных ему и стране людей («ленинградцы», А. Поскрёбышев, Н. Власик), сам оказался в полном одиночестве перед хищной стаей претендентов на кремлёвский трон. Однажды Власик с горечью заметил: «Если меня не будет, Хозяину конец». Так примерно и произошло: через несколько месяцев после ареста генерала Сталина не стало.