Богородск конца XIX века, куда переехала из Мальцева-Бродова семья Скворцовых, был в ту пору заурядным городком Московской губернии, а точнее сказать, небольшим рабочим поселком с несколькими ткацкими и прядильными фабриками-мануфактурами. Самая большая из них — в Глуховке, на самой окраине Богородска, принадлежала А. И. Морозову, к которому весьма подходила бы кличка «мироед». Не зря в Глуховке широкое хождение имела поговорка: «День не едим, два не едим. Немного погодим и снова не едим». Рабочих по всякому малейшему поводу и без повода штрафовали. Чуть опоздал — штраф. Не осилил тяжелую или сложную работу — штраф. Утащит мастер или приказчик материал — тотчас же сваливает на рабочего, и тотчас же следует штраф. А уж если не поздоровался тот с мастером или, не дай бог, с самим хозяином, штраф следовал моментально. Покупать велено было продукты только в хозяйской лавке. Ослушался — сразу штраф. Морозов к тому же не появлялся на фабрике без плетки и часто любил пускать ее в ход. Не раз слышал от фабричных ребятишек Ваня Скворцов истории о жестокостях и гонениях «морозовских псов».
В день получки от заработка рабочего оставалось для семьи с гулькин нос, потому что, помимо штрафов, заедал их «магарыч». Не сделал подношение — не получишь поблажки на работе и в подмастерья никогда не пробьешься. Уже будучи взрослым, Иван Иванович Скворцов долго хранил листовку, в которой говорилось о положении глуховских рабочих:
«Администрация смотрит на рабочую силу как на вьючную скотину. Среди мастеров поощряется взяточничество; берут птицей, овощами, яйцами, молоком, не возвращая посуду, в которой им приносят подачки. В ткацком отделении бракуют товар у тех, кто не покупает им водки и колбасы».
Великой радостью для Вани было появление в доме произведений Пушкина, Тургенева, Гоголя, Некрасова и других книг. К самым разным областям знаний разжег его интерес журнал «Семья и школа», рассчитанный на старших учащихся. Как-то Ваня раздобыл годовой комплект этого журнала и прочитал все номера от корки до корки. Каких только интересных статей и очерков здесь не встретилось ему! Рассказы Д. Мамина-Сибиряка, отрывок из романа Л. Толстого «Война и мир», повести Г. Мало и А. Доде, популярные очерки в форме занимательных этюдов по истории, географии, биологии, этнографии, астрономии, искусству. От любознательного взора мальчика не ускользнули рассказы о родной природе, о первых людях на земле, заметки по анатомии и физиологии человека.
С наслаждением читает он зарисовки о жизни насекомых и животных, о цветах и птицах. Вечерами, обжигаясь горячей картошкой за ужином, или перед сном слушают братья и сестра то, что узнал днем Ваня. А в воскресные дни он спешит на природу, чтобы самому проверить то, что недавно прочел из книг и журналов.
Задумчивость была, пожалуй, одной из примечательных черт Вани Скворцова в школьные годы. «А Ваня опять о чем-то мечтает», — шутили домашние. Тот только улыбался и снова погружался в мысли: это были размышления о прочитанной книге, об услышанном на уроке, об увиденном вокруг. Даже в шалостях сверстников в школе он почти не участвовал, хотя очень любил юмор, потешные игры. Чаще всего в одиночестве сидел где-нибудь в укромном уголке и, наблюдая шумную возню товарищей, строил какие-то планы, с кем-то про себя спорил, доказывал. Его одноклассник Матвей Петрович Смирнов, впоследствии учитель-краевед, вспоминал, что Ваня отнюдь при этом не походил на замкнутого, скучного ученика, которому чужды были детские забавы, игры и даже проказы.
Учился Ваня превосходно.
Окончив с отличием в 1885 году Богородское городское училище, Иван Скворцов стал все больше интересоваться социальными вопросами, особенно под влиянием знакомства с такими литературно-публицистическими журналами демократического направления, как «Отечественные записки». Немало полезного для себя 15-летний юноша извлекали из журнала «Дело» (комплекты этих изданий за несколько лет дал ему почитать один школьный товарищ). В это время Иван Скворцов твердо решил стать учителем и непременно сельской школы, усматривая в этом и свое участие в популярном тогда народническом лозунге «идти в народ».
Первая попытка поступить в 1886 году в Московский учительский институт закончилась неудачей: огорченному абитуриенту весьма путано «объяснили», что он не прошел «по случаю небывалого конкурса». Однако это не остановило Скворцова, и в следующем году он снова сдает экзамены и становится студентом.
По тому времени учительский институт давал довольно широкое образование: здесь преподавались русский язык, арифметика, алгебра, геометрия, физика, биология («естественная история»), педагогика с дидактикой, история, чистописание, рисование и черчение. Среди внеклассных предметов значилась гимнастика. Но в числе первых дисциплин в программе значился закон божий. И неудивительно: религиозному воспитанию будущих наставников подрастающего поколения придавалось особое значение.