Николай Ильич был потрясен случившимся. В феврале 1923 года он сдал дела Всевобуча и в прощальном приказе подвел итоги его работы за последние три года: впервые создана стройная система допризывной подготовки, развернута сеть школ инструкторов, подготовлено более миллиона допризывников, работают более двух тысяч очагов физической культуры, проведено множество военно-спортивных мероприятий и т. д. Распрощавшись с Красной Армией, Н. И. Подвойский плохо представлял, как будет жить дальше. Судя по письмам и по записям в блокнотах, можно утверждать, что это был, пожалуй, самый тяжелый момент в его непростой жизни, момент, когда он дрогнул. То, что он оказался ненужным своему любимому детищу — Красной Армии, — темпераментный Николай Ильич воспринял как личную трагедию. Но непоколебимая убежденность в правоте дела большевистской партии, его оптимизм и активность помогли ему удержаться. «Меня ничто и никто не сокрушит, — писал он позже Нине Августовне, — потому что я ученик Ленина, Ленина понимаю, по его пути иду, его методами стараюсь работать».
Н. И. Подвойский многие месяцы оставался без официального поста, ибо председательство в действовавшем теперь при ВЦИК Высшем совете физической культуры, Спортинтерне, в Товариществе строителей Международного Красного стадиона, в Истпарте он всегда считал дополнительной нагрузкой, общественной работой.
На Николая Ильича обрушилась еще одна беда — 23 апреля умерла младшая дочка Маечка. ...Трудной оказалась весна 1923 года для Н. И. Подвойского. Но утешение он всегда видел в одном — в труде.
Благодаря энтузиазму Николая Ильича с неизмеримо возросшими трудностями, упорно продолжается строительство Красного стадиона. Значительную часть сил и времени Николай Ильич отдает производственным ассоциациям — еще одному детищу его творческой фантазии. Они стали образовываться в конце 1921 года, после X съезда РКП (б), который принял решение о переходе к разработанной В. И. Лениным новой экономической политике. Она была рассчитана на то, чтобы укрепить союз рабочего класса и крестьянства, на основе материальной заинтересованности поднять все активные силы для восстановления народного хозяйства страны, дать рабочим хлеб, а крестьянам — нужный им инвентарь.
Н. И. Подвойский внимательно слушал на съезде В. И. Ленина, его «Доклад о замене разверстки натуральным налогом». Как всегда, записывал стержневые мысли, намечал свои личные задачи, а также задачи Всевобуча. Он понимал, что Всевобуч, работавший с сотнями тысяч допризывников и физкультурников, может и должен в условиях нэпа помочь партии и государству восстанавливать народное хозяйство. Но формы, методы этой помощи ему стали ясны не сразу. Он напряженно искал их.
Наконец идея вызрела. Николай Ильич решил создать при Всевобуче «образовательно-производственные ассоциации» — своеобразные кооперативы из физкультурников и допризывников. Он рассчитывал, что молодые энтузиасты, если их к тому же материально заинтересовать, в свободное время могут заняться, например, сбором и реализацией сырья, собственными силами наладить производство сначала спортинвентаря, а потом и «предметов рабоче-крестьянского быта». Всю работу ассоциаций планировалось строить на самоокупаемости, на
полном хозрасчете и на личной материальной заинтересованности каждого участника. Когда ассоциации, считал Подвойский, окрепнут, заработают собственные средства, они смогут заняться и более сложным делом, например, производством черепицы, сборкой велосипедов и мотоциклов из деталей, закупленных за границей на свои деньги. Николай Ильич даже мечтал о магазинах Всевобуча (или ассоциаций): «Все для спортсмена»,
«Все для крестьянина», «Все для матери и ребенка». Очень важно было и то, что с помощью заработанных средств можно было перевести физкультурно-спортивного работу на самоокупаемость и самофинансирование, освободив тем самым небогатый государственный бюджет от расходов на ее материальное обеспечение.
Думая о производственных ассоциациях, Подвойский надеялся найти решение не только экономических, но и воспитательных задач. Ведь вовлечение молодежи в активную работу по восстановлению хозяйства страны сопровождалось бы обучением юношей и девушек массовым рабочим профессиям, им бы прививался вкус к труду. Так шло бы движение к конечной цели — коммунистическому воспитанию молодежи, подготовке ее к труду и обороне.