Хладнокровие и решительность были, вероятно, причиной успехов его и в карточной игре, которой со страстью предавался он одно время. Теми же качествами, хотя и не в той оригинальной форме, обладал отец Крылова, а это в борьбе с таким врагом, как Пугачев, было гораздо важнее, чем безрассудная слепая отвага, в которой и у последнего не было недостатка. В самом деле, оборона капитана Крылова привела в такую ярость Пугачева, что он «скрежетал» зубами после неудачного приступа и грозил повесить не только Симонова и Крылова, но и все семейство последнего, находившееся в то время в Оренбурге. «Таким образом», говорит Пушкин, «обречен был смерти и четырехлетний ребенок, впоследствии славный Крылов». Но Пушкин ошибался в возрасте Крылова: ему шел уже в то время седьмой год.
Ужасы того времени должны были оставить неизгладимый след в умном и наблюдательном ребенке. Во всяком случае походная жизнь, семейная обстановка бедного армейского офицера и тесное соприкосновение с военным бытом, с его тревогами, откровенными нравами и сценами то трагического, то комического характера, имели несомненное влияние на образование характера Крылова. Быть может не покидавшая его во всю жизнь страсть к пожарам, благодаря которой ленивый и равнодушный Крылов подымался с постели и делался проворным и торопливым, была именно плодом впечатлений того периода детства. Но что еще важнее, впечатления этого времени имели влияние на его позднейшее отношение к народу, к его бурной силе и порывам.
Конечно, тревожное детство не было хорошей подготовкой к правильному образованию и воспитанию. Правда, вслед за окончанием бунта отец Крылова вышел в отставку и поселился в Твери, где получил место председателя губернского магистрата. Но условия жизни даже губернского города были не таковы, чтобы поправить дело. Ни постоянных пансионов, ни городских школ в то время еще не знали. Народные училища стали возникать только с 1786 года. Современник Крылова, известный поэт и баснописец Дмитриев, сын родового помещика, не жалевшего средств для его образования, обучался однако арифметике у гарнизонного солдата, сержанта Копцева, от которого слышал одни только «непонятные слова»: искомое, делимое и т. д.
Все же, наряду с «обязанностями чинов», Дмитриев в пансионе знакомился с историей и писал письма «по темам». Маленький Крылов лишен был даже такого скудного образования. Учителей русского языка тогда не было, как не было их и позже, даже в начале царствования Александра; взамен того учили французскому языку я мифологии. Не было учителей и для Закона Божия. Сельские священники, происходя из дьячков, знали только по навыку одну церковную службу, а о катехизисе не имели понятия. Между тем любознательность в обществе росла. Родители Крылова воспитаны были в то время, когда даже самое слово «воспитание» понимали совсем в ином смысле. «Могу сказать», говорила одна барыня, «мы у нашего батюшки хорошо воспитаны: «одного меду невпроед было». Правда, если не было еще воспитания и правильного учения, то был уже Ломоносов, пример которого действовал, возбудительно на многих, а начало царствования Екатерины II создало обширную литературу, переводную и оригинальную. К счастью отец и мать Крылова понимали и ценили образование. Отец его оставил после себя целый сундук книг, что в то время было большой редкостью и роскошью, особенно при походной жизни бедного армейского офицера.
Председателем губернского магистрата в Твери отец Крылова был недолго, и через три года умер, оставив семью — нашего Крылова, одиннадцатилетнего отрока, с матерью и младшим братом Львом — без всяких средств. Пока отец был жив, он помогал матери в воспитании сына и учил его, чему мог, по крайней мере, русской грамоте. Теперь мать могла лишь давать наставления детям в правилах религии, насколько дозволяло ей время, уходившее на хозяйство и хлопоты о пропитании семьи. Кроме того, юноша учился французскому языку у гувернера-француза в доме помещика Львова, вместе с его детьми. Благодаря почетному положению отца Крылова в городе, ему не трудно было подучить от Львова дозволение сыну приходить на уроки его детей. Это было в то время в общем обыкновении, но часто влияло дурно на характер детей, так как гувернеры не забывали указывать ученикам, на разницу их положения и воспитывали часто спесивость в одних, зависть и лесть в других. Может быть, поэтому Крылов учился неохотно. Мать лаской и разными средствами старалась, однако поощрять его. Крылов сам впоследствии, изменив раз своей обычной сдержанности и молчанию, простодушно ответил г-же Карлгоф на вопрос о том, отличался ли он чем-нибудь в детстве: «я, матушка, был дитя, как и все: играл, резвился, учился не отлично, иногда меня и секали». Но так ли это? Не отличаясь ничем от сверстников, при обстановке - мало удобной для образования и развитая, едва ли мог явиться 14-летний юноша уже автором литературного произведения слабого, но не лишенного интереса и таланта.
Девяти лет Крылов записан был — конечно, только формально — подканцеляристом в Калязинском магистрате.