Духовное происхождение деда проявилось в постоянном чтении книг религиозного содержания. Вообще же он собрал большую библиотеку, где было много и светской литературы. Внук вспоминает, что она размещалась в нескольких сундуках. Дед был знаком с Н.И. Новиковым, знаменитым издателем и масоном; когда при Екатерине II Новиков был арестован и посажен в Шлиссельбургскую крепость за свою масонскую и издательскую деятельность, дед натерпелся страху, сжег все книги, подаренные ему Новиковым; внук был уверен, что и сам дед был тоже масоном.
Внук, слабовольный, хаотичный, безалаберный, контрасту цельных и волевых личностей, и «кряжевая», как он выражался, натура деда, напоминавшая ему Багрова из автобиографических очерков С.Т. Аксакова, притягивала его к себе, он мысленно разговаривал с покойным дедом, которого никогда не видал, ибо он умер до рождения внука. Ап. Григорьев вспоминал, что, любя в молодости бродить по ночному городу, он специально ходил к церкви Великомученика Никиты, к первому пристанищу деда в Москве, садился на паперть часовни и разговаривал с дедом, чуть ли не реально надеясь на появление предка… По крайней мере, говорит внук, дважды, в самые трудные, переломные моменты жизни, дед являлся ему во сне.
К началу XIX века дед зажил вольготной жизнью видного московского чиновника-дворянина. Как деликатно писал внук, «он, как и все, вероятно, брал если не взятки, то добровольные поборы»… Купил во Владимирской губернии деревеньку с крепостными душами, в Москве купил дом с садом на Малой Дмитровке (теперешней улице Чехова). Ныне это участки домов №25 и 27. Дом № 27, главный барский дом основательной каменной застройки, пережил московский пожар 1812 года, но конечно, весь выгорел внутри, и дед продал его остов. Дом и ныне существует.
Пошли дети. В 1788 году родился первенец Александр, будущий отец нашего Аполлона, в 1789-м — Екатерина, в 1800-м — Александра, в 1804-м — Николай. Детям, естественно, было дано хорошее образование. Александр учился в Благородном пансионе при Московском университете. Николай стал офицером. Менее известна жизнь дочерей. Кажется, они обе остались старыми девами, доживавшими свой век вместе с матерью в отцовской деревеньке. Лишь мельком вспоминал Ап. Григорьев о старшей, Екатерине Ивановне: «Натура страстная и даровитая, не вышедшая замуж по страшной гордости, она вся сосредоточилась в воспоминаниях прошедшего».
Александр Иванович, согласно формулярному списку 1829 года, начал работать копиистом с 1799 года в Главной соляной конторе Москвы, с июня 1802-го — подканцеляристом, через полгода — канцеляристом. Опять же, как и в случае с отцом, это была формальная запись для стажа: маловероятно, чтобы одиннадцатилетний мальчик начал служить в канцелярии!
В 1802—1806 годах он обучался в Благородном пансионе при Московском университете, а потом уже, по-видимому, реально начал служить, поступив в Правительствующий Сенат, получил самый низший, 14-го класса чин коллежского регистратора, а затем стал подниматься по чиновничьим ступенькам — в 1816 году дослужился до титулярного советника. У него уже выработалась дворянская, как сейчас говорят, ментальность: презирал духовное сословие, забыв, что сам из него происходил, любил блеснуть французским языком, сочинял в кругу близких комедии, по характеру был ироничным и добродушным.