В нем проявлялось прежде всего поразительное соединение мягкости душевной с непобедимыми ничем на свете силою воли, убеждением и стремительностью к избранной цели. Встречавшим его лишь изредка, вскользь, он мог казаться робким, застенчивым, нерешительным. Он всю жизнь получал со всех сторон советы: во-первых, потому, что сам просил их от каждого, с кем был хоть на некоторое время поближе, а, во-вторых, потому, что каждому из его родных и знакомых вечно казалось, глядя на его внешнюю застенчивость, что он самый-то и есть человек, который сам собою ничего не может и не умеет и которому надо помогать. Но как все они жестоко ошибались! Иванов всех всегда выслушивал, и никого никогда не слушался.
Родился он в семье, можно сказать, патриархальной по привычкам и преданиям александровского времени. До самой смерти своего отца, т. е. до 42-летнего своего возраста, он оставался к отцу в отношениях такого наружного подчинения и глубочайшей преданности, как будто бы все еще был десятилетним ребенком. И это было условлено не только семейными патриархальными преданиями, но и страстною любовью к отцу, доходившею до обожания. Но это мало: долгое время для него оставалась чем-то вроде высшего начальства даже старшая сестра, которой он не переставал говорить «вы» даже в своих зрелых годах и которая считала необходимым делать ему странные выговоры и давать уморительные советы вроде: «трудись и без нужды не развлекайся», «вера и упование на Промысел должны быть всегда с тобою», «уважай достойных», «не забывай оказывать почтение и тем, кто имел право оного от тебя требовать» — и все это даже в 1833 году, когда Иванову было уже 27 лет и он давно стал самостоятельным человеком и уважаемым всеми художником. Но, относясь ко всем родным с крайнею мягкостью, любовью и почтением, он все-таки не давал им спуску и постоянно делал им отпор. В 1836 году он пишет отцу: «Лапченко (живописец, товарищ Иванова) получил через меня письмо от родителей своих, за что несказанно благодарит вас; представьте: большая половина письма его есть инструкция, как должно вести себя — пишет кто-то, за незнанием грамоты, из домашних. — О, инструкция!» Другими словами — «имени уши, да слышит». В том же письме он обращается и к своей матери: «Матушка! вы можете обижаться тем, что водном из 50 или более писем забыл приписать к вам особенную строчку. Вы знаете, что я с колыбели и до сих пор воспитываюсь только бедами, следовательно, можете себе представить, как прискорбно бывает получить неприятности такого рода, которые могут и не быть, если мы сами того захотим». В письме к сестре 1846 года он также говорит: «Мы (т. е. Александр и Сергей Ивановы) вас глубоко уважаем и любим. Кроме общих с нами добрых качеств нравственных, вкорененных в нас еще примером родителей, вы имеете преимущество перед нами, как старшая. Русская добродетель, еще до-христиаиская — уважать старшинство — вполне светится в душах наших. Но при всем том, нельзя вам не заметить, что вы не вполне чувствуете наше назначение: вы радуетесь нашим успехам, называете их славою, думаете, что жить в славе, вами созданной, уже есть достижение последней степени блаженства. Но это совсем не так на деле».