Немудрено, если военная работа создала мне немало врагов. Я не оглядывался по сторонам, отталкивал локтем тех, которые мешали военным успехам, или в спешке наступал на мозоли зевакам и не успевал извиняться. Есть люди, которые все это запоминают. Недовольные и обиженные находили дорогу к Сталину, отчасти к Зиновьеву. Эти ведь тоже чувствовали себя обиженными. Каждая неудача на фронте вызывала натиск недовольных на Ленина. За кулисами уже тогда этими махинациями руководил Сталин. Подавались записки о неправильности военной политики, о моем покровительстве "спецам", о слишком жестком режиме по отношению к коммунистам и пр. Отставленные полководцы и неосуществившиеся красные маршалы подавали доклад за докладом о пагубности стратегических планов, о саботаже командования и о многом другом.
Ленин был слишком поглощен общими вопросами руководства, чтобы выезжать на фронты или входить в повседневную работу военного ведомства. Я проводил большую часть времени на фронтах, что облегчало в Москве работу закулисных шептунов. Их настойчивые голоса не могли не вызывать у Ленина время от времени беспокойства. Ко времени моего очередного приезда в Москву у него накоплялись сомнения и вопросы. Но достаточно бывало получасовой беседы, чтоб восстановить взаимное понимание и полную солидарность. Во время наших неудач на Востоке, когда Колчак приближался к Волге, Ленин на заседании Совнаркома, на которое я явился прямо с поезда, написал мне записочку: "А не прогнать нам всех "спецов" поголовно и не назначить ли Лашевича главнокомандующим?" Лашевич был старый большевик, выслужившийся на "немецкой" войне в унтер-офицеры. Я ответил на том же клочке: "Детские игрушки". Ленин поглядел на меня лукаво исподлобья, с особенно выразительной гримасой, которая означала примерно: "Очень вы уж строго со мной обращаетесь". По сути же он любил такие крутые ответы, не оставляющие места сомнениям. После заседания мы сошлись. Ленин расспрашивал про фронт. "Вы спрашиваете, не лучше ли прогнать всех бывших офицеров. А знаете ли вы, сколько их теперь у нас в армии?" — "Не знаю". — "Примерно?" "Не знаю". — "Не менее тридцати тысяч". — "Ка-а-ак?" — "Не менее тридцати тысяч. На одного изменника приходится сотня надежных, на одного перебежчика два-три убитых. Кем их всех заменить?"
Через несколько дней Ленин выступал с речью по поводу задач социалистического строительства. Вот что он между прочим сказал: "Когда мне недавно т. Троцкий сообщил, что у нас в военном ведомстве число офицеров составляет несколько десятков тысяч, тогда я получил конкретное представление, в чем заключается секрет использования нашего врага… как строить коммунизм из кирпичей, которые подобраны капиталистами против нас!"
На происходившем в это же приблизительно время съезде партии Ленин в мое отсутствие — я оставался на фронте — выступил со страстной защитой проводившейся мною военной политики от критики оппозиции. Именно поэтому протоколы военной секции VIII съезда партии не опубликованы до сих пор.