А между тем, его собственные лишения и бедность были так велики, что казалось бы, ему только бы и думать, что о самом себе. «Ваш самый горестный день в жизни может равняться нашему отдыху», — пишет он однажды сестре в 1846 году. Он постоянно должен был упрашивать то Общество поощрения художников, то Жуковского, то кого-нибудь из влиятельных чиновников и дам, чтобы ему выхлопотали отсрочку пенсии, чтобы ему дали хоть какие-нибудь средства просуществовать в Риме до окончания его громадного, едва ли не беспримерного труда. Каково должно было быть такое унижение для этого гордого, для этого полного своего достоинства человека! «Вы знаете, — говорит он сестре в 1846 году, — что только тогда кой-как и можно иметь какую-нибудь свободу в обращении, когда об интересе нет помину. И потому мы с братом отказываем себе во всем, и маленькие деньги, в сравнении с нашим огромным предприятием, едва достают, чтобы не впасть в долги…» «Нищета Иванова, — писал один из его друзей, — была такова в последние годы его жизни, что он по суткам довольствовался стаканом кофе и черствой булкой или чашкой чечевицы, сваренной из экономии им самим в той самой студии, где работал, и на воде, за которою наш художник ходил сам к ближайшему фонтану. И, несмотря на эту нищету, Иванов никогда не поддался на советы друзей и доброжелателей, из которых одни торопили и понукали его скорей кончить большую картину его; другие уверяли, что ему легко было бы вытти из нужды, производя в промежутках свободного времени маленькие картинки для лотерей или для заказов. Он, как Иов, пораженный проказою, стонал от боли и, однакоже, не слушался друзей».
Этот рассказ не преувеличен. Иванов не раз и сам себя называет «нищим». «Как грустно родиться нищим, — пишет он отцу в 1835 году, — чувствовать это в полной степени, и не видеть ничего впереди для поправления своего состояния». «Я нищий и послушник крайней нужды», — пишет он ему же в конце 1835 года. Десять лет спустя, он повторяет еще новый раз то же самое своему приятелю Чижову: «Цвет России мною доволен, радуется и с нетерпением ожидает моей картины, но я все-таки остаюсь нищим, а нищий художник большого размера произведений несравненно бессильнее поэта, которого произведения все-таки меньше требуют материальных издержек».
В молодых годах он часто бывал расстроен всем этим, его наполняли мрачные мысли, меланхолия: «Про меня начинают говорить в Риме, — пишет он в 1836 году, — что разговор мой имеет тон всегда какой-то грусти, и что такового разбора люди неспособны бывают к искусству — варвары люди!» Само собою разумеется, то ли дело весельчаки-кутилы, сыплющие червонцами и остротами, пляшущие тарантеллу с натурщицей, среди чоканья стаканов — куда за теми угоняться? Не они ли истинные творцы великих художественных созданий? Но в 1851 году в письме к Гоголю Иванов еще явственнее высказывает свое одиночество и нравственное настроение: «Вы спрашиваете о моей жизни не студии? Вне студии я довольно несчастен, и если бы не студия, то давно бы был убит. Так, покамест, стоят дела. Все, что вы разумели о моих страданиях, написав статью обо мне (в „Переписке с друзьями“), составляет, может быть, четвертую долю того, что случалось после… Я почти ни с кем не знаком и даже почти оставил и прежних знакомых. Я, так сказать, ежедневно болтаюсь между двумя мыслями: искать знакомства или бежать от него? И, вися в середине, кое-как разговариваю с людьми, всегда имея к ним возможную снисходительность и ища их благорасположения, как необходимости для меня. Как ни странно это положение, но вместе и утешительно: никогда я не был так наблюдателен, как теперь, и в этом я нахожу отраду».
В дополнение ко всему этому мы встречаем у Иванова любопытную, глубоко им самим сознаваемую и ничуть не одобряемую черту характера: крайнее ко всем недоверие и некоторое, почти ипокритское закрывательство от всех других своих истинных обстоятельств. «Привыкнув жить наверное, — говорит он однажды, — я всегда закрывал от людей остатки, скопляемые лишениями, не веря людям ни в чем- это тоже один из монументов татарского ига».