Но в других вопросах оказалось иначе. Яковлев увлекся марровскими теориями происхождения языка и его развития от «диффузных выкриков» и «четырех элементов» до наших дней. Вслед за Марром он утверждал, что нет языковых семей: «родство» языков есть вторичная надстроечная над экономикой общность, социальная, но никак не расовая». О марровских произвольных построениях в области языковой доистории он писал: «Его сила и проницательность по отношению к ранним общественным формациям может быть сравнима с силой спектрального анализа».
Печальным эпизодом биографии Яковлева стало участие вместе с марристами в избиении Е. Д. Поливанова в начале 1929 г. (подробнее см. очерк «Метеор»). Николай Феофанович заявил, что у него есть расхождения с академиком и его трудно назвать правоверным марристом, но «выгода не в материально добытых фактах, а в том направлении, которое Николай Яковлевич придал своему исследованию. Его живая мысль так увлекает всех окружающих лингвистов». После дискуссии Поливанов покинет Москву, а научное руководство языковым строительством сохранится за Яковлевым.
До рубежа 20-х и 30-х гг. направленность идей и интересов Яковлева соответствовала общей линии государственной политики. Но расхождение по вопросу о латинизации русской письменности было не случайным. Интернационализм сменялся национализмом. Научное новаторство, независимость характера, непризнание авторитетов – все это приходилось ко двору в первое послереволюционное десятилетие, когда шла борьба со старой наукой. Теперь стали поощряться гибкость и умение повторять последние лозунги вождей, не свойственные ни Поливанову, ни Яковлеву. А по отношению к Марру Яковлев мог быть сторонником, но не верноподданным, поэтому марристы не могли его считать «своим». Еще в 1927 г. Марр оттеснил его от руководства Комитета по изучению языков и культур Северного Кавказа: комитет был преобразован в Институт этнических и национальных культур народов Востока во главе с Марром, который жил в Ленинграде и приезжал редко. Яковлев стал там лишь вторым заместителем директора, затем только заведующим кавказским сектором. Институт несколько раз реорганизовывался, менял названия, в конце концов, превратившись уже после смерти Марра в Московское отделение академического Института языка и мышления. В 30-е гг. институт стал основным местом работы Яковлева.
С 1930–1931 гг. начинаются проработки Яковлева со стороны марристов. Целую бурю вызвала разработанная им программа для сбора словарного материала по языкам горских народов Кавказа. Он разработал словник, разбитый по рубрикам «Материальная культура» и «Духовная культура». В последнем разделе 7 % составили слова, связанные с новой эпохой, а 93 % – названия предметов и явлений традиционной культуры. В ответ московский маррист И. К. Кусикьян заявил: «93 % махровой поповщины», а начинающий ростовский последователь Марра Г. П. Сердюченко по поводу включения политической лексики в раздел «Духовная культура» написал: «Не известно ли проф. Яковлеву, что с точки зрения марксизма-ленинизма “политика есть концентрированная экономика” (см. программу партии)? “Отрыв экономики от политики есть характернейшая черта буржуазных теоретиков и их социал-фашистских лакеев”, – говорит тов. Каганович… И на позицию этих социал-фашистских лакеев и встал Яковлев в своей статье». Вывод Сердюченко: «Программа Яковлева действительно не встретила бы возражений и у святейшего синода». Кусикьян же действовал на грани доноса, сопоставляя его работы с трудами «белогвардейского профессора бывш[его] князя Н. Трубецкого».