Но твердая политическая линия Калугина не уберегла его от конфронтации с новым начальником ПГУ Владимиром Крючковым, назначенным на эту должность в 1974 году. Можно долго рассуждать о причинах этого конфликта, но ясно одно — новый начальник не захотел терпеть слишком самовлюбленного и излишне строптивого подчиненного и приложил все усилия, чтобы его «уйти», что и произошло в 1980 году. Разумеется, для 46-летнего перспективного генерал-майора перевод в Ленинградское управление КГБ, пусть даже на специально для него созданную должность второго первого заместителя, был неприятной неожиданностью, нарушающей ход его карьеры, и Калугин затаил на Крючкова жгучую обиду.
Ленинградское УКГБ, где полновластным хозяином был его начальник генерал-лейтенант Даниил Носырев, встретило Калугина более чем сдержано. А после того, как его назначили ответственным за второстепенные участки работы, он понял, что о дальнейшем карьерном росте можно даже не мечтать. Правда, оставалась надежда вернуться в Москву. В 1983 году, когда Генеральным секретарем стал Юрий Андропов, Калугину показалось, что на горизонте забрезжили радужные перспективы — его пригласили на учебу в Москву и поручили возглавить группу из 40 заместителей председателей республиканских КГБ и областных управлений. И действительно, предложение вернуться в Москву последовало, но не на оперативную работу, а в Высшую школу КГБ. Однако такое предложение — перейти на преподавательскую работу (как он пишет в своих мемуарах — в «отстойник») — Калугин воспринял как оскорбление и решительно отказался. Вернувшись в Ленинград, он продолжал настойчиво добиваться перевода в разведку, но смерть Андропова в феврале 1984 года перечеркнула его надежды.
В 1984 году Калугину исполнилось 50 лет. Его попытки попасть на прием к новому председателю КГБ Виктору Чебрикову не увенчались успехом. Тем временем отношения Калугина и Носырева продолжали ухудшаться, и в середине 1986 года дело дошло до того, что в Ленинград приехала комиссия Инспекторского управления КГБ. Она была направлена в город после того, как Калугин написал письмо (а более точно — донос) на имя Горбачева, в котором обвинял Носырева в сокрытии реальных проблем и злоупотреблении служебным положением. Дело закончилось тем, что в начале 1987 года Калугина вызвали в Москву, перевели в действующий резерв КГБ и назначили заместителем начальника управления режима Академии наук СССР.
Оказавшись в Москве, Калугин сделал очередную попытку вернуться «во власть» и написал подобострастное письмо в духе перестройки лично Горбачеву, в котором предлагал реформировать КГБ. Представляется необходимым привести одну цитату из этого письма, чтобы читатель понял, как в то время предлагал бороться за демократию генерал Калугин:
«Как ветеран органов КГБ, считаю, что процесс обновления, охвативший почти все сферы нашей жизни, по существу не затронул КГБ. На фоне происходящих в стране перемен КГБ являет собой сегодня наиболее консервативный, окостенелый организм, объективно вступающий в растущее противоречие с интересами поступательного развития социалистического общества…
Первейшая задача КГБ — сверять свою повседневную деятельность с политическим курсом партии. Делается ли это?
В этой связи представляется назревшим вопрос о реформах в системе правоохранительных органов, усилении партийного и государственного контроля за ними, что позволит существенно ускорить процесс демократизации в нашей стране…»
Ответа на это письмо не последовало, но в начале 1988 года Калугина перевели в министерство электронной промышленности СССР на должность начальника управления безопасности и режима, что являлось повышением. Однако в октябре 1988 года председателем КГБ был назначен Крючков, и карьере Калугина окончательно пришел конец. Правда, он сделал последнюю попытку остаться на службе и на встрече с Крючковым, состоявшейся после назначения последнего председателем КГБ, сказал, что наибольшую пользу родному ведомству он мог бы принести на посту руководителя пресс- службы КГБ. Разумеется, это назначение не состоялось, а в сентябре 1989 года, после того как Калугину исполнилось 55 лет, его вызвали в управление кадров и сообщили о предстоящем увольнении в запас. Реакция Калугина была для кадровиков неожиданной. «Вы еще пожалеете об этом!» — заявил он. Но его угрозам не придали значение, и в марте 1990 года он получил удостоверение генерала запаса, ветеранскую медаль и 7 тысяч рублей единовременной премии.
Оказавшись на пенсии, Калугин не стал выращивать зелень на даче или пописывать статьи для журналов. Его амбиции простирались гораздо дальше. Кроме того, он горел желанием отомстить Крючкову за несправедливое, на его взгляд, увольнение. И 16 июля 1990 года он выступил на конференции «Демократической платформы в КПСС» с критикой в адрес ведомства, в котором прослужил 32 года.