Принятие Совнаркомом декрета о Красной Армии Н. И. Подвойский расценивал как четкий рубеж, отделивший период исканий от периода интенсивной практической работы по созданию новой армии.
— Время теоретических поисков кончилось, — говорил на Коллегии наркомата Николай Ильич. — Декрет принят, средства на Красную Армию выделены. Теперь все зависит от нас, от нашей энергии. Все силы бросаем на практическую организацию дела. Считаю, что «Военка» должна вся перейти в Красную Армию, дать агитаторов, вербовщиков, организаторов. Военные большевики призваны повести за собой в новую армию сознательных солдат, унтер-офицеров и военных специалистов. Наркомат переносит центр своей работы во Всероссийскую коллегию по формированию Красной Армии. Главное сейчас — беречь каждый час, беречь время!
Был разослан за подписью Н. И. Подвойского и Н. В. Крыленко приказ, которым командующие округами обязывались «немедленно приступить к организации норой армии на указанных в декрете основаниях». По распоряжению Подвойского и Крыленко во всех частях старой армии были созданы штабы Красной Армии, занимавшиеся вербовкой добровольцев. Руководители Главного штаба Красной гвардии К. К. Юренев и В. А. Трифонов развернули такую же работу в красногвардейских организациях. Вербовкой добровольцев и формированием из них отрядов Красной Армии занимались также повсеместно созданные в Советах рабочих, крестьянских и солдатских депутатов военные отделы — первые органы местного военного управления, работавшие на Советскую власть. Военные отделы Советов не только создавали отряды, но и командовали ими, когда возникала необходимость подавлять выступления местной контрреволюции. Туда, где в связи с началом гражданской войны Советов не было, Всероссийская коллегия бросала специально создаваемые «летучие бюро», они непосредственно на местах формировали небольшие отряды Красной Армии.
Как только СНК 21 января окончательно утвердил состав Всероссийской коллегии по организации и управлению Красной Армией (Н. И. Подвойский, Н. В. Крыленко, К. А. Мехоношин, В. А. Трифонов, К. К. Юренев), Николай Ильич в течение нескольких дней сформировал в ней отделы, укомплектовав их энергичными организаторами, воспитанными «Военной». Почти мгновенно возник этот мобильный орган, имевший отделы: организационно-агитационный, формирования и обучения, вооружения, транспортный, санитарный, ветеринарно-санитарный, связи, учета, финансовый. Каждый из них создавал соответствующую службу в молодой Красной Армии. Организационно-агитационный отдел по праву считается первым политическим органом в Советских Вооруженных Силах. Он развернул агитацию и вербовку, налаживал воспитание солдат Красной Армии. При нем чуть ли не круглосуточно работали курсы организаторов-инструкторов. Без устали трудился отдел вооружения, не допуская стихийности в процессе передачи оружия и техники распускаемых частей старой армии отрядам Красной Армии. Он же осуществлял эвакуацию военных складов старой армии из западных прифронтовых районов в Центр и на Волгу.
Работа Всероссийской коллегии шла под непосредственным руководством В. И. Ленина. Это руководство было настолько всесторонним, писал позже Н. И. Подвойский, что «Всероссийская Коллегия как исполнительный орган… фактически являлась военным аппаратом пред [седателя] СНК».
Взрывообразное начало повсеместного формирования Красной Армии сразу же с невероятной остротой поставило вопрос о подготовке новых командиров. В первые дни потребность в них удовлетворялась за счет солдат, унтер-офицеров — большевиков из ячеек «Военки», а также получивших некоторый опыт командиров Красной гвардии. Однако Н. И. Подвойский видел, что этот источник иссякнет очень быстро. Открытая в декабре 1917 года по его инициативе 1-я Московская пулеметная школа (ныне Московское высшее общевойсковое командное училище имени Верховного Совета РСФСР) проблему в целом не решала. Надо было разворачивать сеть военно-учебных заведений.
Николай Ильич понимал, что времени на основательную подготовку красных командиров почти нет, что набирать курсантов придется из не имеющих достаточного образования рабочих и крестьян, что надо готовить но просто командиров, а защитников Советской власти, командиров-воспитателей. Принципы и методы обучения и воспитания старой военной школы явно не годились, нужны были новые. Н. И. Подвойский вместе с К. А. Мехоношиным, Э. М. Склянским и другими работниками наркомата засел за их разработку. 28 января он уже подписал Положение о курсах красных командиров.