Но как ни отстранялся Иванов от общества, все-таки был кружок людей, которых он не покидал и с которыми, когда они отсутствовали из Рима, он был в постоянном общении. «Дал бы тебе бог, — пишет он брату в 1843 году, — приехать к нам в Рим, то уже тут бы ты, в часы отдыха, очень приятно мог бы проводить время с отличными молодыми нашими московскими профессорами и студентами…» «Я имею огромный капитал, — пишет он отцу в 1845 году, — и какие бы слухи до вас ни доходили о моей бедности, не верьте. Капитал, в самом деле, есть у меня, — это четыре, — пять образованных друзей настоящих русских, которые видели в моей картине представителя успехов отечества и, в последнем случае, готовы будут поделиться». Из художников это были — Моллер и Иордан, из ученых-Погодин, Шевырев, Чижов, из писателей — Гоголь, Жуковский, Языков, Плетнев. Своим образованием или талантливостью, светлым умом или, по крайней мере, добрым сердцем и преданностью они были Иванову столько же приятны, сколько и полезны в его одиночестве. Но с годами он во многих из них разочаровался. Так, например, он впоследствии перестал верить в то, чтоб Моллер был «истинный русский»: «Моллер здесь уже две недели, с двумя братьями и невесткою, — пишет он Чижову в 1845 году, — люди любезные и добрые, но зачем они из всех сил стараются быть русскими?» В другом месте он прямо говорит, что очень любит Моллера, но тот ему часто надоедает мелкими поручениями и просьбами, так что он, Иванов, думает запереться от него, хотя и очень любит его; в третьем, сильно не доверяет даже таланту: «Видел я Моллера эскиз (картины „Иоанн на острове Патмосе“) — слабо, виден ученик Брюллова». Чижова Иванов долго уважал за начитанность и любовь к искусству, за его русский дух, за его путешествие по славянским землям, долго считал его истинным наставником и помощником русских художников, ожидал от него превосходной истории живописи — и однакоже, в конце-концов, пришел к тому, что Чижов «очень не готов ни к должности художественного советника при художниках, ни к ведению журнала». Что касается Жуковского, то он постоянно помогал Иванову своими рекомендациями, просьбами и хлопотами в его пользу как за границей, так и в Петербурге; но когда дело дошло до настоящей оценки деятельности и картины Иванова, то оказалось, что он тут мало понимает, так что Иванов, как мы это видели выше, вынужден был писать Чижову: «Как не стыдно так говорить Василию Андреевичу! При его уме и образовании, я думал, он войдет гораздо глубже в мое положение, и тогда бы он увидел, что я только несчастлив… Не должен ли я пожертвовать совершенно всем для такого предприятия, которое бы со временем поставило меня на художественную кафедру, с которой бы я мог умалить злоупотребления (художественные, в России)?» Много же знал и понимал Иванова Жуковский, когда ему надо было все это втолковывать, после стольких лет интимности — все это, составлявшее краеугольный камень в символе веры Иванова!
Сам Гоголь, ближайший друг, поверенный и наставник Иванова, тот Гоголь, гению которого Иванов так глубоко поклонялся, все-таки не был к нему, в действительности, так близок по натуре, как по внешности должно бы казаться. Иванов обыкновенно высоко восхваляет Гоголя за истинное и глубокое понимание искусства, но когда дело касалось самой сути дела, то оказывалось, что Гоголь и Иванов — это люди совершенно разных миров. Во-первых, Гоголь ничуть не вникал в художественные потребности Иванова и сопротивлялся им, так что однажды этот последний пишет ему: «Напрасно вы думаете, что моя метода — силою сличения и сравнения этюдов подвигать вперед труд — доведет меня до отчаяния. Способ сей согласен и с выбором предмета, и с именем русского, и с любовью к искусству», а другой раз: «Я в августе думаю возвратиться из Неаполя в Альбано для этюдов первого плана картины (пожалуйста, не бранитесь: ведь вы тут только теоретик)». Это последнее писано в мае 1851 года, т. е. за несколько лишь месяцев до смерти Гоголя; но сколько в этих немногих словах, сказанных мимоходом, «между скобок», сколько в них слышится долголетних, частых споров и «браней» Гоголя насчет того, чего Иванов будто бы «не должен» делать, и насчет разумности того, чего Гоголь вовсе не понимает!