В 1975–1976 годах КГБ поставил цель создать личную изоляцию вокруг мамы и Андрея Дмитриевича. Напрямую их репрессировать ещё не решались. Сначала было давление на Ефрема и Таню, чтобы они уехали с детьми. На Таню тогда завели уголовное дело о фальшивом трудоустройстве. Произошло несколько инцидентов с детьми. Происшествие с Матвеем в августе 1975 года особенно напугало Таню и Ефрема. Мама и Андрей Дмитриевич настаивали на их отъезде. Как только они согласились, им сразу же дали визу. Они уехали в 1977 году.
После этого главной точкой давления стал я. Для начала меня отчислили из института. В июне 1977 года, в конце весеннего семестра. Я учился на все пятерки и получал повышенную стипендию — правда, не ленинскую, потому что не был членом комсомола. Отчислить меня за неуспеваемость было невозможно. Потому мне, по-видимому, решили устроить неуспеваемость по военному делу. Это был четвертый курс, когда оно у нас заканчивалось, нужно было ехать в лагерь для военной подготовки. Если я не сдавал военное дело, мне нельзя было бы присвоить звание, я бы терял отсрочку, и меня можно было забрать в армию.
Если бы я не сдал зачет, я не смог бы поехать в лагерь и не сдал бы военное дело. Никаких подлых вопросов по военной подготовке задать невозможно, я на все вопросы отвечал. Но зачет я не сдал. Начальник военной кафедры принимал этот зачет, он постоянно задавал дополнительные вопросы. Отвечать я начал одним из первых, а закончил в конце зачета. Он сказал: «Мне не нравится, как ты отвечаешь, зачет у тебя я не принимаю. Боюсь, ты не сможешь поехать на сборы. Ступай». Сборы начинались на следующий день, мы уезжали в 12 часов дня. Завалил он меня в 15 часов, я со своей зачеткой поехал из одного конца Москвы в другой, на Пироговку, в главное здание. И успел до пяти часов прийти к секретарше. Сказал, что мне нужен срочный допуск на пересдачу.
Она посмотрела на мою зачетку, ни о чем не догадываясь, увидела, что у меня там все пятерки, начиная с первого курса: «Как же так получилось?» «Голова что-то подвела». Она выписала мне какие-то бумажки, и я поехал домой. В 8 утра я пришел на военную кафедру, начальника кафедры там уже не было: он не предполагал, что я могу приехать пересдавать. Я подошел к дежурному офицеру: «У меня такая вот беда, в 12 часов уже нужно ехать…». Офицер задал мне пару вопросов, на которые я сразу же ответил, и он поставил мне зачет.
На вокзале начальник военной кафедры был очень неприятно удивлен, что я появился с зачетом, но возразить ему было нечего. Сборы продолжались всё лето. Во время сборов был инцидент, мой знакомый стоял в карауле у штаба у открытого окна, когда там обсуждали, «как решить проблему Семенова». Когда он пришел, он был страшно возмущен, рассказывал об этом всем. На сборах основная претензия ко мне была, что я плохо политически подготовлен, а всем формальным требованиям я удовлетворял: я даже стал отличником по стрельбе и марш-броску.
Ближе к концу сборов возникла эпидемия желудочного гриппа, многие заболели. Лишний кухонный наряд никто не любил, а я только недавно отдежурил. К нам пришел майор, заведовавший кухней, и сказал, что кто возьмет лишний наряд, сможет съездить в Москву: а отгулов у нас не было. Я вызвался, после дежурства меня отпустили в Москву. Я, не подумав, поехал. Когда вернулся, меня встречали начальник кафедры и офицеры, и радостно заявили мне, что я был в самоволке. Майор, несколько побитый и смотревший в сторону, заявил, что не отпускал меня в Москву. Меня отправили на гауптвахту на неделю и не поставили зачет за сборы. На меня пришла бумага об отчислении из института.
Одновременно маме и Андрею Дмитриевичу начали приходить письма и звонить неизвестные, рассказывавшие об ужасных случаях с новобранцами в армии. Я подал апелляцию на эту бумагу, мне отказали. Когда писали приказ о моем отчислении «за академическую неуспеваемость», секретарь посмотрел на мои оценки и так опешил, что написал «за академическую успеваемость». Эта бумага у меня до сих пор есть. Меня в результате отчислили в октябре 1977-го, тогда как я заранее сдал экзамены и за зимнюю, и за весеннюю сессию 78-го года. Мне оставались только диплом и госэкзамены. Снять меня с повышенной стипендии за высокую успеваемость они не смогли, она приходила мне до января.