Вскоре по рекомендации Ярославской партийной организации Северный комитет РСДРП 1 поручил Подвойскому ответственную и опасную роль связного между Ярославской, Владимирской, Вологодской, Костромской и Иваново-Вознесенской партийными организациями. Через связных в то время доставлялись в партийные организации директивы ЦК, письма и статьи В. И. Ленина, шли распоряжения Северного комитета РСДРП, распространялись особо ценные нелегальные издания, организовывалась переброска партийных работников, осуществлялся взаимный обмен информацией. Связные держали в памяти десятки имен, адресов, паролей. Поэтому ими назначались особо надежные люди, стойкие в своих революционных убеждениях, находчивые в опасных ситуациях, крепкие физически.
Будучи связным, Подвойский познакомился со многими видными деятелями партии, прошел, можно сказать, «высшую школу» искусства конспирации. Учителями его были опытные подпольщики, в том числе один из блестящих конспираторов, впоследствии заместитель, а потом и преемник Ф. Э. Дзеряшнского в ВЧК — Вячеслав Рудольфович Менжинский.
Выполняя работу связного, Николай Подвойский в полной мере проявил свои незаурядные способности. Он умел с одного взгляда на перрон или на площадь безошибочно оценивать ситуацию, по неуловимым признакам распознавать филеров, владел методами ухода от слежки.
Разнообразные знания, широкий кругозор, контактность в сочетании с природными артистическими задатками позволяли Николаю легко перевоплощаться в опасных поездках и выступать в разных ролях — музыканта, чиновника, учителя. Это зависело от пассажиров в вагоне или каюте, состав которых он также научился определять с первого взгляда и первых фраз. Он мог вести, например, заинтересованный разговор о музыке. Авторитетным свидетельством его принадлежности к миру музыкантов была скрипка в потертом футляре. При этом соседи, конечно, и предположить не могли, что под бархатной подкладкой футляра находятся отпечатанные на тонкой бумаге директивы, донесения и другая «нелегальщина». С чиновниками он мог со знанием дела судить, к примеру, о римском праве, пересыпал при этом свои рассуждения высказываниями древних. Тут ему помогали занятия в лицее и знание латыни. Он мог вести с ними разговор и об экономике, хозяйственной жизни центральных губерний России. Почти еженощная работа со статистическими карточками земства давала для этого богатый материал. Лиц духовного звания он покорял степенностью и поразительным для светского человека знанием церковных обрядов и Священного писания. Случалось ему натыкаться в вагоне и на человека в котелке, бессмысленно рассматривающего по нескольку раз одну и ту же страницу газеты. Бывало так, что «котелок» минут через двадцать, зевнув, уходил проветриться и исчезал. («Значит, не заинтересовался», — думал Николай.) Но иногда приходилось выходить из вагона вместе. Тут уж надо было как можно скорее отрываться от слежки. Обычно Николай садился на извозчика, проезжал два-три квартала, внезапно выходил из пролетки и шел пешком. Как правило, «котелок» терял его в результате этого маневра. Правда, подчас случались ситуации посложнее и на отрыв от филера требовалось несколько часов.
Так, на практической работе, Николай Подвойский, Нина Дидрикиль, Михаил Кедров и другие молодые революционеры росли, мужали, закалялись, готовились к главному — к открытой схватке с самодержавием и буржуазией, в неизбежности которой они не сомневались. Ее приближение особенно явственно стало ощущаться во второй половине 1904 года, когда под влиянием начавшейся бесславной для России русско-японской войны резко возросло недовольство народа и усилилось революционное движение масс. Во главе его стояли большевики. «В Ярославской организации, — писал Н. И. Подвойский, — большевистское течение было крепко, и руководство организацией во всех главных вопросах принадлежало большевикам». Но и охранка не дремала. Аресты следовали один за другим. Однако это не приводило к прекращению революционной работы — О. А. Варепцова,
А. М. Стопани, В. Р. Менжинский и другие руководители ярославского подполья заботливо растили смену. Осенью 1904 года Николай Подвойский и Нина Дидрикиль были введены в руководящее ядро — в состав Ярославского комитета РСДРП. Они уже вполне созрели как революционеры, стали опытными пролетарскими пропагандистами, и теперь старшие товарищи поручили им самое сложное — организаторскую работу. Это, пожалуй, был «выпускной класс» школы пролетарской борьбы.
Забот у Николая Подвойского, теперь уже как члена комитета, прибавилось. Организаторская работа потребовала от него новых знаний, навыков, новых качеств. Он очень скоро убедился, что это действительно более высокая и более трудная ступень в деятельности подпольщика. Многому приходилось учиться, притом не по учебникам, а на практике и у более опытных товарищей, таких, например, как Вячеслав Рудольфович Менжинский, Николай Николаевич Плаксин, и других.