Однажды, еще в 1881 или 1882 году, в дом к Скворцовым зашел бродячий монах и потребовал подаяния. Бабушка не любила таких здоровенных попрошаек и сухо сказала: «Бог подаст». Но тот требовал все настойчивее и засверкал глазами. Тогда вмешался Ваня и сказал монаху, чтобы тот шел своей дорогой. Обозленный служитель всевышнего в ответ, едва выйдя в сени, схватил там санки и с угрожающим видом положил их поперек порога: «На-ко, попробуй-ка теперь выйти». Ваня не стерпел такого вызова — разбежался и одним прыжком перемахнул через «заколдованные» санки. Он торжествующе, с видом великого победителя поднял их над головой. Монах, не ожидавший от мальчика такой прыти, в явном смятении повернулся и зашагал прочь.
Мать и тетя постарались детям дать то немногое, что было в их силах. Прежде всего Мария Прохоровна принялась обучать их грамоте. В 1879 году, научившись читать и писать, Ваня сумел поступить в городское училище, удивив всех экзаменаторов недюжинными способностями по части чтения, письма и счета. К тому же мальчик успел прочесть и запомнить содержание нескольких книжек, которые давал ему на время один знакомый гимназист. Книги во время учебы Вани в городском училище были его верными друзьями. Самыми любимыми писателями стали Некрасов и Гоголь.
Все братья Скворцовы, кроме Николая, поступили и окончили Богородское городское училище, а их сестра Людмила — Богородскую прогимназию. Старшему из братьев, Петру, удалось окончить Московский учительский институт, где он особенно увлекался физикой. Однако тяжелая болезнь — неизлечимый в те времена туберкулез — приковала его к постели, и вскоре он скончался.
Михаил был учителем Следовской уездной школы, в 14 верстах к северу от Богородска. Он стремился воспитывать в своих учениках непримиримость к злу, насилию, на уроках высказывал довольно смелые «крамольные» мысли. В кругу друзей тоже не скрывал своего отношения к существовавшим порядкам. Однажды Михаилу стало известно, что на имя начальства пришел донос, в котором сообщалось о революционных настроениях учителя. Он очень терзался мыслью, что могут пострадать близкие ему люди. Донос провокатора сделал свое черное дело: опасаясь ареста, Михаил покончил с собою. Особенно тяжело переживал эту утрату Ваня.
Значительно больше известно о судьбе сестры Вани Скворцова — Людмилы. Она была старше своего брата Ивана на два года (родилась в январе 1868 года). Окончив курс Богородской женской прогимназии, она (была принята во внимание ее отличная учеба) некоторое время преподавала в ней, а затем по примеру многих своих сверстниц решила поехать учительствовать в деревню. Шел 1893 год. В деревню Золотово (близ Фаустова) Бронницкого уезда Московской губернии проникают революционные идеи. Здесь появляется и запрещенная литература. Некоторые «опасные книги» привезла с собою молодая учительница. Но пропагандистская деятельность Людмилы Ивановны не осталась незамеченной, и в 1897 году ей пришлось переехать в другую деревню соседнего Подольского уезда. Потом она стала учительствовать в Покровской школе города Подольска. Тут и застала ее революция.
Осенью 1907 года она переезжает в Москву и ведет преподавательскую работу в Кожевническом начальном училище господина Тиля и в Грузинском начальном училище, выполняя ряд ответственных поручений большевистской ячейки.
В 1911 году в результате настойчивых требований демократической общественности в ряде центральных губерний России было открыто несколько начальных школ. Такая школа-трехлетка открылась и в подмосковном Люблине. Она ютилась на втором этаже здания, где помещалась молочная. И все же ее открытие местные социал-демократы большевики считали своей победой. Л. И. Скворцова, вложившая в это дело немало сил, возглавила новую школу.
В школе учились главным образом дети рабочих ближайших предприятий. Но не только с ними вела занятия Людмила Ивановна: как только наступал вечер, в школу приходили родители учеников и уроки продолжались. Только теперь наряду с обучением грамоте и письму взрослых учительница проводила беседы на политические темы, читала им газеты, отвечала на злободневные вопросы. А на ее квартире в школьном подвале часто проходили конспиративные собрания, прятались разыскиваемые царскими ищейками революционеры.
Наступил 1917 год. В эти месяцы Л. И. Скворцова трудится буквально с удвоенной энергией, успевая учительствовать и выполнять партийные обязанности. «Наша революция — не за горами», — сказала как-то она в кругу друзей. В сентябре ее избирают по спискам большевиков в Московское уездное земство, а когда в Москве победила Советская власть, Людмила Ивановна на посту секретаря партийной ячейки продолжает свою учительскую деятельность в различных районах Москвы, вплоть до своей трагической гибели в 1924 году.
Многим чертам характера сестры стремился подражать Ваня и никогда не скрывал этого. Позднее он заметит, что ее общественная деятельность вызывала у него «чувство восхищения».