В «Обществе любителей словесности» завяжутся новые знакомства. Андрей Иванович познакомится здесь, а позже и подружится с баснописцем-сатириком А. Е. Измайловым, пользовавшимся известностью в Северной столице. Тот жил в небольшом скромном доме по Литовской улице. Темная лестница дома заканчивалась наверху грязной стеклянной галереей. Во втором этаже, на обитой оборванной клеенкой двери, была приклеена розовая обложка известного журнала «Благонамеренный», который первоначально был связан с деятельностью «Общества». Тут помещалась контора журнала и здесь же жил его издатель Александр Ефимович Измайлов.
Расхаживал он дома в старом засаленном халате. Приходили к нему часто приятели-литераторы. Начинались обычные споры. «Передавались на ухо», под «честное слово», рассказанные уже всему городу последние журнальные сплетни. Равнодушно внимал всему этому Измайлов. «Лукьянушка! — кричал он, вдруг оживившись. — Принеси-ка нам троечку апельсинчиков, да захвати графинчик квасу». А потом, помолчав и как будто над чем-то раздумывая, прибавлял: «Замени-ка квас, пожалуй, очищенной. Ко времени будет». Входил Лукьянушка с вечно пасмурным и недовольным лицом и нехотя ставил на стол угощение. «Добро, — говорил Измайлов, — приступим». И приступали.
А уж слушать или читать басни Измайлова было одно удовольствие. Так высмеет, ввек не забудешь. Да вот хотя б взять его «Кукушку».
В семье Ивановых Александр Ефимович станет настолько своим человеком, что будет крестным отцом детей Андрея Ивановича и Екатерины Ивановны.
Бывал в доме художника и Василий Иванович Сазанович — секретарь Правительствующего сената, почетный член «Вольного общества любителей словесности, наук и художеств», с женой и детьми. Василий Иванович крестил первенца Ивановых — сына Александра.
Особым уважением и почетом в семье Ивановых пользовался Дмитрий Иванович Языков — академик, директор департамента народного просвещения, цензор, а с 1807 года президент «Вольного общества любителей словесности».
С 1 мая 1803 года Андрей Иванович вступил в должность адъюнкт-профессора в натурном классе. В ту пору он был занят выполнением программы на звание академика: «Адам и Ева с детьми под деревом после изгнания из рая».
В том же 1803 году он стал писать иконы для церквей; при Конном полку — «Арханг. Гавриила и Михаила» для северных и южных дверей за 300 рублей; при замке Св. Михаила — «Моление о чаше»; при Больнице для бедных, с соизволения императрицы Марии Феодоровны — «Воскресение Христово с хором ангелов».
Работая в храмах, Андрей Иванович знакомится со священниками, и мир церковный постепенно раскрывается ему. Отныне всякий раз испрашивал он благословения у духовника своего на исполнение росписи в каком-либо храме и должен был исповедоваться и причащаться в данном храме на время работ. После молебна поднимался на леса и трудился. В обеденные часы трапезничал с настоятелем храма и церковным причтом, слушал неторопливые разговоры.
В 1804 году благодаря новому президенту Академии графу Строганову — старому вельможе, о котором Екатерина II как-то сказала: «Вот человек, который целый век хлопочет, чтобы разориться, но не может» — почти все профессора Академии были привлечены к работам по благоустроению Казанского собора. Приглашается и Андрей Иванович. За семь лет он написал десять икон. За свою работу после освящения собора в 1811 году он получил Высочайшее благоволение.
Служба в Академии, работа в храме да дела семейные заполняли жизнь Андрея Ивановича.