Шебаршин прослужил в Тегеране четыре года, вернулся в феврале 1983 года. Обычно за побег подчиненного резидента сурово наказывают. Но обошлось. Симпатизировавший ему генерал Медяник посоветовал сидеть тихо и ждать, пока забудется побег Кузичкина. Несколько месяцев Шебаршин проработал заместителем начальника отдела в управлении «Р», которое обобщало опыт оперативной работы и выявляло ошибки в проведенных операциях.
Осенью 1983 года Шебаршина пригласил к себе начальник информационной службы Первого главного управления генерал Николай Сергеевич Леонов (впоследствии депутат Государственной думы от фракции «Справедливая Россия»), чья карьера в разведке сложилась благодаря тому, что он когда-то познакомился с Раулем Кастро, который вскоре стал вторым человеком на Кубе.
— Предлагаю должность заместителя, — сказал Леонов Шебаршину. — Вам дается шанс проявить себя. Считайте, что работа у нас будет как бы испытанием для вас.
Шебаршину тон разговора не понравился, но предложение он принял с удовольствием. Информационную службу вскоре повысили в статусе, преобразовали в управление. Так что и Шебаршин из заместителей начальника отдела стал замначальника управления. Занимался афганскими делами. Летал в Кабул вместе с Крючковым, который обратил внимание на толкового молодого человека. В 1986 году они с Крючковым исполнили весьма деликатную миссию — заставили Бабрака Кармаля отказаться от власти и посадили в кресло хозяина Афганистана бывшего начальника госбезопасности Наджибуллу.
В апреле 1987 года ушел на пенсию по возрасту генерал-майор Яков Прокофьевич Медяник. Крючков сделал Шебаршина своим заместителем, отвечавшим за работу на Ближнем и Среднем Востоке, а также в Африке. Шебаршин вошел в состав высшего руководства и переселился в дачный поселок разведки, что было одной из самых приятных привилегий его нового положения. На работу и с работы он отныне ходил пешком — несколько минут прогулки по лесу.
Первого октября 1988 года Крючков ушел из разведки на повышение, став председателем КГБ. Вопрос о его преемнике решался долго. Несколько месяцев обязанности руководителя первого главка исполнял Вадим Кирпиченко. В иной ситуации он бы и возглавил разведку. Но генералу Кирпиченко уже исполнилось шестьдесят шесть лет. Горбачев же требовал выдвигать молодых.
У Крючкова был явный фаворит — еще один заместитель начальника разведки Виктор Грушко. Ему еще не было шестидесяти. Но, видимо, эта кандидатура не прошла. В январе 1989 года Крючков передал Шебаршину свой кабинет в Ясеневе и всю советскую разведку. 24 января Леонида Владимировича принял генеральный секретарь Горбачев с кратким напутствием. В пятьдесят три года Шебаршин оказался во главе огромной разведывательной империи. Численность Первого главного управления в те годы, по некоторым данным, составляла почти двенадцать тысяч человек. Каждый год на первый курс Краснознаменного института имени Ю. В. Андропова принимали триста человек.
Достаточно молодой для своей высокой должности (на шесть лет моложе Примакова), он мог еще долго оставаться на своем посту. Участия в августовском путче 1991 года Шебаршин не принимал. Председатель КГБ Владимир Крючков таланты Шебаршина ценил, но у него были люди и поближе — их он и втянул в путч.
Шебаршин после ареста Крючкова ровно одни сутки — с полудня 22 августа до двух часов дня 23 августа 1991 года — возглавлял КГБ. Произошло это так. 22 августа в девять утра в кабинете начальника Первого главного управления и заместителя председателя КГБ генерал-лейтенанта Леонида Владимировича Шебаршина зазвонил аппарат спецкоммута-тора, соединяющего высшее начальство страны.
Начальник разведки уже был на работе. Он предполагал, что участие руководства КГБ в путче не пройдет безнаказанным. Открыв сейф, просматривал документы, решая, что можно сохранить, а что следует уничтожить. Одну бумагу, никому не доверяя, разорвал и спустил в унитаз личного туалета.
— С вами говорят из приемной Горбачева. Михаил Сергеевич просит вас быть в приемной в двенадцать часов.
— А где это? — поинтересовался Шебаршин.
— Третий этаж здания Совета министров в Кремле. Ореховая комната.
В Ореховой комнате, где когда-то заседало политбюро, собралось множество людей. Появился загорелый и энергичный Горбачев. Шебаршин представился президенту. Горбачев сразу вывел Шебаршина в соседнюю комнату, чтобы поговорить один на один, и задал несколько вопросов:
— Чего добивался Крючков? Какие указания давались комитету? Знал ли Грушко?
Шебаршин коротко пересказал, что говорил Крючков на совещании 19 августа.
— Вот подлец, — не сдержался Горбачев. — Я больше всех ему верил. Ему и Язову. Вы же это знаете.