В ответ дирекция института поставила вопрос о невыполнении плана. Рукопись абхазской грамматики (видимо, новый вариант несостоявшейся грамматики 1935 г.) Яковлев не смог представить из-за пропажи всех экземпляров. Здесь не лучшую роль в его жизни сыграл Г. П. Сердюченко (сам имевший неприятности после выступления Сталина, но в итоге отделавшийся временным отстранением от руководящих должностей), у которого был один экземпляр. В письме в дирекцию Сердюченко заявил, что ничего не получал, а Яковлев, «видимо, рукопись потерял или забыл, как терял книги и рукописи, свои и чужие, уже не раз». Потом Сердюченко все же вернул экземпляр, но было уже поздно: рукопись отправили, как когда-то ее прежний вариант, в Сухуми, откуда вновь поступил разгромный отзыв (дело могло быть не только в Марре: грузинские и абхазские ученые считали москвича Яковлева «нарушителем границ»). В том числе Яковлева обвиняли в «незнании кавказских языков». Этот вариант также не был опубликован.
Итог: в августе 1951 г., когда Яковлев находился в своей последней кавказской командировке (в Черкесске), появилось распоряжение № 1305, подписанное не руководителями Института языкознания, а высшей инстанцией: вице-президентом АН СССР И. П. Бардиным и ее главным ученым секретарем А. В. Топчиевым. Оно гласило: «За систематическое невыполнение научно-исследовательского плана и за упорное нежелание включиться в коллективную работу Института языкознания АН СССР по перестройке научной работы в области языкознания освободить старшего научного сотрудника сектора кавказских и иранских языков Яковлева Николая Феофановича от работы в Академии наук СССР». Фактический основатель московской части института (с 1950 г. ставшей основной) теперь с позором изгонялся из него. Тогда же его уволили и из Московского института востоковедения.
Николай Феофанович в конечном итоге после выступления Сталина пострадал тяжелее всех (арестов не было: по-видимому, так распорядился Сталин). Почему именно он? Если исходить лишь из того, что достоверно известно, то он более чем кто-либо не вписывался в «перестройку», задирал начальство, высказывал свое мнение, настаивал на идеях в духе Н. Я. Марра, а его отношения с В. В. Виноградовым и другими новыми лидерами советского языкознания были уже давно испорчены. В жалобах Яковлев все объяснял происками дирекции. Однако рассказывают, будто были и другие причины: невоздержанный на язык Яковлев что-то говорил, по одним воспоминаниям, про Л. П. Берия, по другим, про М. А. Суслова, и это стало известно в инстанциях. Но точных данных нет.
Яковлев, еще даже не достигший пенсионного возраста, пытался бороться, подавал на дирекцию Института языкознания в суд, но безуспешно. В ноябре 1951 г. народный суд 2 участка Киевского района Москвы отклоняет иск. Ученый продолжал ходить по инстанциям и дальше, но после одного из визитов наверх оказался в психиатрической больнице. Его поведение и раньше часто бывало неадекватным, а теперь наступил финал.
Ученый-языковед Николай Феофанович Яковлев после 1951 г. не напишет ни строчки, наука его потеряла. Остался жить несчастный, больной, заброшенный человек. Вспоминается шутка физиков про Л. Д. Ландау в последние годы его жизни: «Ландау умер, но тело его живет». Ландау прожил так шесть лет и был окружен вниманием. Яковлев прожил более двадцати лет и был забыт большинством коллег. Не только Г. П. Сердюченко, но и Л. И. Жирков его не навещал. И как я отмечал в начале очерка, для многих он стал как бы живым покойником, хотя его научные идеи (и фонологические, и кавказоведческие) не были забыты и находили продолжение. П. С. Кузнецов и его друзья по Московской фонологической школе (А. А. Реформатский, В. Н. Сидоров, Р. И. Аванесов) постоянно опирались на его наследие.
Лишь немногие из коллег иногда навещали выпавшего из науки профессора, среди них когда-то критиковавший его Е. А. Бокарев, преемник по заведованию сектором кавказских языков Института языкознания. Бывали у него и ученики, в том числе Л. Р. Концевич и Ф. Д. Ашнин. Яковлев не был так уж «безумен», как утверждал знавший о нем понаслышке Ю. В. Рождественский. Когда болезнь не обострялась, профессор выглядел нормальным, оставался интересным собеседником, сохранял память и эрудицию. Отношение к окружающей действительности у него стало еще более критическим, хотя от своего прошлого он не отрекался. Но сил хватало лишь на застольные беседы, к лингвистике Николай Феофанович не пытался вернуться. И в лучшие годы он не отличался ухоженностью, теперь не о чем было и говорить. И пить он продолжал. А денег в доме не хватало.