Глубокая тревога распространилась среди армейских партийных работников-ленинцев. Взгляды Троцкого и его порочная практика подверглись резкой критике. Особое значение имела статья Фрунзе «Единая военная доктрина и Красная Армия», опубликованная в июле 1921 года. В статье Фрунзе, опираясь на ленинские указания и используя опыт гражданской войны, сформулировал свои основные положения по вопросам подготовки армии и развития военного искусства. В марте 1922 года, на XI съезде партии, по инициативе Фрунзе и Ворошилова военные делегаты потребовали от Троцкого информации о положении в армии. Троцкий в докладе отстаивал свои оппортунистические взгляды. Съезд перенес обсуждение доклада для его детального разбора на совещание военных делегатов.
Критика Троцкого на совещании была всесторонней и сокрушительной. Фрунзе в докладе «Основные военные задачи момента» не оставил камня на камне от положений Троцкого. Против оппортуниста выступали С. М. Буденный, Н. Д. Каширин и другие. С резкой отповедью Троцкому выступил и Ворошилов. Показав несостоятельность мнения Троцкого о невозможности планового строительства в армии и ненужности разработки мобилизационных планов на случай войны, Ворошилов говорил:
— Мы не можем сказать, когда начнется война и какие формы она примет, но у нас имеется весьма обильный материал для того, чтобы в общих чертах определить возможности для того, чтобы хотя бы приблизительно готовиться к тому, что нас ожидает.
В конце 1922 года Ворошилов выступал с тезисами по организации Красной Армии на совещании политических работпиков и военных делегатов X Всероссийского съезда Советов. Главной мыслью тезисов было: «Основой организации Вооруженных Сил РСФСР остается постоянная Красная Армия». Так как небольшая армия не может обеспечить обучение всего призывного контингента, оно «должно производиться частью в армии, частью вневойсковым обучением по территориальному принципу…» Тезисы Ворошилова были одобрены на совещании.
На протяжении 1922 года положение армии оставалось очень тяжелым, и в конце октября Фрунзе писал: «Для характеристики минувшего периода жизни Красной Армии достаточно одной фразы: армия жила голодной, холодной, полураздетой и разутой». Но в 1923 году ситуация в армии обострилась еще и потому, что сторонники Троцкого вслед за своим лидером возобновили атаку на партию. Оппозиционеры в армии не только защищали линию Троцкого в общих вопросах, но требовали изменения сложившихся форм руководства партии военным строительством.
Фракционная борьба в армии приняла чрезвычайно резкие формы. Попытались было троцкисты обосноваться и в партячейках СКВО, но командующий округом сумел дать им отпор. Не выгорело дело троцкистов и вообще в северокавказской парторганизации: возглавлявший ее тогда А. И. Микоян при поддержке Ворошилова и других ленинцев сумел разгромить врагов партии.
Положение в армии стало предметом внимания специальной комиссии, которую сначала возглавлял В. В. Куйбышев, а затем С. И. Гусев. На пленуме ЦК партии 3 февраля 1924 года был заслушан и обсужден доклад Гусева. Выводы комиссии оказались весьма неутешительными, и виновниками тяжелого положения армии были Троцкий и его сторонники. Выступавшие на пленуме один за другим давали резкие оценкп положепия. Армия фактически «превратилась в проходной двор», — докладывал Гусев. «Политическое состояние Красной Армии и ее боеспособность постоянно падают», — заявил И. С. Уншлихт. «Положение нашей Красной Армии чрезвычайно тяжелое, — говорил М. В. Фрунзе, — и считать армию боеспособной мы не можем». И. В. Сталин характеризовал состояние армии в следующих словах: «Если бы бог нам не помог… и нам пришлось бы впутаться в войну, нас распушили бы в пух и прах».
Ворошилов в речи на пленуме подчеркивал, что особенно губительно сказывалась на работе в армии постоянная текучесть, смена состава. Об этом он еще в конце декабря 1923 года докладывал главкому, а на пленуме заявил:
— Ни Реввоенсовет Республики, ни штаб не предпринимали всех необходимых мер для ликвидации или хотя бы ослабления этого бича нашей армии.
Далее Ворошилов дал примеры вопиющих недостатков в снабжении войск и утверждал, что «хаос и бесплановость приобрели характер как бы твердой планомерности и нужны неимоверные усилия, чтобы выйти из тупика, в котором мы сейчас находимся». Основной опасностью он справедливо считал стремление Троцкого и его сторонников поставить аппарат Наркомвоенмора вне контроля партии.
— Я лично думаю, — говорил Ворошилов, — что до тех пор, пока Военвед не будет уравнен со всеми другими ведомствами в отношении воздействия на него ЦК, то есть пока военное ведомство будет представлять из себя организацию, отгороженную от ЦК, до тех пор нам не изжить тех ненормальностей, которые грозят закончиться полной катастрофой для Красной Армии… Оборона страны должна быть обеспечена во что бы то ни стало. За это несут ответственность не отдельные лица, а весь ЦК, вся партия в целом.