Клюев действительно был исключен из партии весной 1920 года. Религиозные убеждения поэта, посещение им церкви и почитание икон вызывали, как видно, недовольство у части вытегорских коммунистов. 22 марта уездная конференция РКП(б) в Вытегре рассмотрела вопрос о возможности дальнейшего пребывания поэта в партии. Выступая перед собравшимися, Клюев произнес слово «Лицо коммуниста». «С присущей ему образностью и силой, – сообщала через несколько дней местная газета, – оратор выявил цельный благородный тип идеального коммунара, в котором воплощаются все лучшие заветы гуманности и общечеловечности. Любовь как брак с жизнью, мужественные поступки, смелость мысли, ясность взора, бодрая жизнерадостность – таков лик коммуниста, сближающий его отчасти с мучениками и героями великих религий на заре их основания». Далее поэт «доказал собранию, что нельзя надсмехаться над религиозными чувствованиями, ибо слишком много точек соприкосновения в учении коммуны с народною верою в торжество лучших начал человеческой души.
Доклад был заслушан в жуткой тишине и произвел глубокое потрясающее впечатление. Когда поэт прочел одно из своих необычайных стихотворений, посвященных церкви, которая изменила Голгофе, конференция наградила т. Клюева шумными аплодисментами.
В дальнейшем прения приняли весьма бурный характер. Меньшинство отстаивало недопустимость для коммуниста духовных настроений. Большинством же конференция, пораженная доводами Клюева, ослепительным красным светом, брызжущим из каждого слова поэта, братски высказалась за ценность поэта для партии. <...>
Наш родной поэт, песнослав коммуны и светлый брат трудящихся, несмотря на Констанцский собор, так обидно над ним учиненный, не покинул своих красных братьев».
С важными уточнениями по поводу дискуссии вокруг Клюева выступил в следующем номере газеты председатель партконференции Кривоносов. Возражая безымянному автору предыдущей заметки (по некоторым стилистическим признакам можно догадаться, что это был А.В. Богданов), Кривоносов писал: «Не поэт «доказал» собранию, что нельзя надсмехаться над религиозными настроениями, а собрание доказало поэту, что коммунисту не пристало ходить в церковь, молиться и прикладываться к иконам. <...>
Не отрицая факта посещения богослужения, т. Клюев объяснил собранию, что в церковь он ходит <...> не как «сын православной кафолической романовской церкви», а как поэт-«исследователь», стремящийся путем соприкосновения с верующими людьми глубже вникнуть в их психологию, и заявил, что «можно и не ходить в церковь» даже как «исследователю», раз это хождение вредит коммунистической борьбе с религиозными предрассудками масс». Кривоносов подчеркнул, что ни большинство, ни меньшинство участников конференции не отрицало ценность поэта для партии.
Однако Петрозаводский губком не поддержал решения уездной конференции, и постановлением от 28 апреля 1920 года Клюев был исключен из партии.
После этого положение Клюева в Вытегре ухудшается. Его имя почти совсем исчезает со страниц «Звезды Вытегры» и сменившего ее вскоре «Трудового слова». В уездном провинциальном городе поэт чувствует себя одиноко. Правда, в Вытегре жили в те годы сестра и брат Клюева (брат был управляющим почтовой конторой), однако отношения поэта с ними были испорчены. В этих условиях Клюев сближается с Н.И. Архиповым (1887-1967), одним из руководителей вытегорской партийной организации (ранее Архипов преподавал историю в местном реальном училище). Н.И. Архипов окончил историко-филологический факультет Петербургского университета, был высокообразованным человеком. В 1921-1922 годах он редактировал в Вытегре ряд периодических изданий, способствовал организации краеведческого музея. В 1920 году им был создан кружок «Похвала народной песне и музыке». Этот кружок, как сообщает А.К. Грунтов, хотел издать «Красную Пасху» и три сборника стихов Клюева – «Карельский пряник», «Новый мир» и «Неувядаемый Цвет». Грунтов утверждал, что изданы были два последних сборника. Однако никаких следов сборника «Новый мир» до настоящего времени обнаружить не удалось. Что касается сборника (он назывался «Песенник») «Неувядаемый Цвет», то такая книга действительно была издана в Вытегре (скорее всего в конце сентября – начале октября 1920 года) и ныне известна как библиографический раритет (сохранилось три экземпляра). В «Песенник» вошли народные стилизации Клюева, его «сказы» и «песни», и с этой точки зрения он отличается тем внутренним единством, коего недоставало большинству его ранних книг.