Хозяин дома принес старинную скрипку, и Иван Константинович, расположив ее у себя на колене, начал играть и петь. Еще никогда ему не приходилось исполнять столько песен о любви… Он пел по-итальянски, и слушатели оценили его свободно льющийся красивый голос. Когда Айвазовский закончил свое выступление и все принялись выказывать свое восхищение, гувернантки с детьми в комнате уже не было, но ее скромный образ глубоко запал в сердце художника. В ту же ночь он нарисовал ее портрет, на котором особенно выделялись милые глаза. С того вечера художник зачастил в этот дом, напрочь забросив работу. Он узнал, что девушку зовут Юлия Яковлевна Гревс, она дочь английского штабс-доктора, находящегося на русской службе. В гостиной она больше не появлялась, но Айвазовский пошел на хитрость – он предложил давать уроки рисования старшим (уже перессорившимся из-за него) сестрам и младшим детям, которых на занятия, естественно, сопровождала гувернантка. Обмен короткими фразами по вопросам искусства показал, что девушка достаточно образованна, может высказать свое мнение, а главное, скромна и обаятельна в общении, и, казалось, лишена меркантильности. Иван Константинович безоглядно влюбился, спустя две недели признался в своих чувствах и предложил Юлии стать его женой.
Через несколько дней Петербург облетело известие, что знаменитый художник женится на обычной гувернантке. В гостиных говорили, что при своей славе, красивой внешности, обеспеченности художник мог бы породниться со знатной дворянской фамилией. Высший свет не одобрил выбор Айвазовского, а двери некоторых домов даже закрылись перед ним – многие вдруг вспомнили о его плебейском происхождении. Для Ивана Константиновича это послужило сигналом: «Пора домой». Сразу после венчания Айвазовский привез молодую жену в только что отстроенный дом. В родной Феодосии все были рады счастью земляка. Пировал весь город, дорогу перед молодыми устлали ковром из живых цветов, джигиты показывали свое мастерство, гремела музыка. В разгар празднества в Феодосийскую бухту вошла эскадра из Севастополя, шесть кораблей встали на рейд и зажгли иллюминацию. Присутствовавший на свадьбе Александр Иванович Казначеев воскликнул: «Столь много радости в день празднования свадьбы предвещает долгую счастливую жизнь!» Но, как оказалось, только не семейную.
Поначалу жизнь молодых была вполне благополучной. Художник писал одному из друзей: «…Я женился как истинный артист, то есть влюбился, как никогда. В две недели все было кончено. Теперь, после восьми месяцев, говорю Вам, что я так счастлив, что я не воображал половину этого счастья. Лучшие мои картины – те, которые написаны по вдохновению, так как я женился». Юлия Яковлевна, как казалось, разделяла интересы Ивана Константиновича и даже принимала активное участие в археологических раскопках близ Феодосии, начатых мужем в 1853 году. Айвазовский провел археологические изыскания пяти курганов и в одном из них нашел женское погребение с золотыми украшениями работы искусных ювелиров IV века до н. э. Эти находки – серьги, ожерелья, цепочки – и сегодня являются ценными экспонатами в Эрмитаже. То, чего удалось достичь Айвазовскому во время раскопок, было самым большим вкладом в изучение прошлого Феодосии и навсегда вписало имя живописца в археологическую науку.
В семье Айвазовских через год после свадьбы родилась первая дочь Елена, а вслед за нею еще три – Мария (1851 г.), Александра (1852 г.) и Иоанна (Жанна, 1858 г.).
Между тем отношения супругов вскоре дали трещину. Оказывается, не о такой жизни мечтала Юлия Яковлевна. Ей, как жене знаменитого художника, хотелось блистать в столице, в удовольствие путешествовать за границей, а не сидеть затворницей. Ее тянуло к аристократическому обществу. Но как она не уговаривала мужа, тот наотрез отказывался покидать Феодосию. Тогда она сама начала давать балы и приемы, внося сутолоку в размеренную и подчиненную работе жизнь художника. Иван Константинович сердился, начинались взаимные упреки, перераставшие в скандалы. Юлия Яковлевна попрекала мужа плебейскими замашками и знакомствами, демонстративно отворачивалась, когда муж возвращался после встречи с рыбаками или ремесленниками. Она считала, что приносит себя в жертву. Очередная серьезная размолвка между супругами случилась в 1853 году в Харькове, куда художник эвакуировал семью после высадки турок в Крыму. Айвазовский рвался в осажденный Севастополь: «Поймите, Юлия, как же я могу оставаться здесь, когда числюсь живописцем Главного морского штаба!» – «Вот и следуйте примеру штабистов, сидите в тылу», – возражала жена, но он все-таки поехал.