С точно такою независимостью и своеобразием мысли относился Иванов, в продолжение всей своей жизни, и к своим художественным учителям, живописцам старого и нового времени. Ни которому он не был согласен поклоняться с рабским подобострастием, по преданиям, по вкладываемым обыкновенно в голову готовым мнениям. Вместо всего этого он всюду обращался со свежею, самостоятельною мыслью, с пытливым взглядом и принимал лишь то, в достоинстве чего сам убеждался. Именно вследствие этого, он раньше всего разочаровался в Академии художеств, воспитавшей его, но неуспевшей наложить своего ярма на его ум. Он вовсе не верил в нее, ни в ее воспитание, ни в награды и преимущества ее и еще менее в понятия, мнения и благотворное влияние на художество и художников.
Уже в 1833 году он пишет отцу про воспитание младшего брата своего Сергея: «Если насчет вспомоществования его воспитанию и там и тут навсегда уже упущено, или не могло быть, то, уже делать нечего, отдайте его в Академию. Генеральное приготовление в науках я желал бы дать ему гораздо большее, нежели в нашей Академии… С прискорбною душою соглашаюсь, чтобы юноша поступил в хаос бестолковых метод наук в нашей Академии художеств, а письмо сие да будет ему в памятник, что нужда и крайность делают». «Академия, — пишет он ему же в 1835 году, — со всем своим причтом ужасает меня при одном воспоминании», и еще: «Состояние русской семьи в Риме мне меньше всего известно, ибо, наскучив однообразными воспоминаниями и разборами о подлом воспитании, которое получили все мы в Академии, следствием коего укрепилась в нас, вместо деятельности к учению и наблюдению природы, природная свара и разгульная жизнь, я совершенно оставил русских, которых люблю до самоотвержения». В 1836 году он пишет отцу. «Академия художеств есть вещь прошедшего столетия, ее основали уставшие изобретать итальянцы. Они хотели этой мыслью воздвигнуть опять художество на степень высокую, но не создали ни одного гения о сю пору. Если живописец привел в некоторый восторг часть публики, расположенной понимать его, то вот уж он, по моему мнению, достиг всего, что доступно художнику. Купеческие расчеты никогда не подвинут вперед художества, а в шитом, высоко стоящем воротнике тоже нельзя ничего сделать, кроме стоять вытянувшись». В 1839 году он пишет опять отцу: «Неудачный выбор Серебрякова: скопировать с самого неудачного произведения Гверчино, кажется, не имел и у вас счастливого успеха, несмотря на то, что Академии нашей нравится болонская школа, что Шебуев часто в Гверчины напрашивался в своих произведениях». Брату Иванов пишет в 1846 году: «Справься в парижском посольстве нашем (насчет посланных денег) и пожалуйста не надейся на сонную Академию. Знаменитый ленью Григорович пока напишет, пока доложит, пока проснется, ты можешь четыре раза умереть с голоду, а что еще хуже — остановить свои успехи». Племяннице он пишет в 1849 году по поводу маленького наследства, оставшегося после отца: «Дело, вы сами видите, как завязло. Мы просим Академию нам тут помочь, но старозаветные люди деятельны казнить и опустошать и не способны споспешествовать успехам других». Наконец, одному неизвестному Иванов писал в марте 1858 года, что новые вопросы и требования, обращаемые теперь повсюду в Европе к искусству, ясно доказывают, что «живопись должна процвести в самую высокую и последнюю степень — залог, лестный для нас, в особенности, русских, не выступавших еще на поприще и прозябавших покамест в оранжерее европейской нашей Академии».
Зная такое отношение Иванова к нашей Академии, да и вообще ко всем академиям, легко понимаешь, что он не мог смотреть на звание академика и профессора иначе, как он смотрел. Когда за его картину «Явление Христа Магдалине», Академия возвела его в академики, он писал отцу своему, в октябре 1836 года: «Как жаль, что меня сделали академиком! Мое намерение было никогда никакого не иметь чина. Но, что делать, отказаться от удостоения — значит оби деть удостоивших. Однакоже я, может быть, попробую об этом намекнуть Григоровичу».