Чтобы поддержать убитых горем Гамильтонов, Нельсон решает организовать для них необычное развлечение. Он забирает их к себе на «Фоудройант», который сразу же берет курс к порядком надоевшей ему Мальте. На палубе все время играет оркестр, лакеи разносят вино и закуски. Эмме обещано участие в настоящем морском сражении, и она радуется этой возможности. Подойдя к Ла-Валлетте, «Фоудройант» открывает огонь. Береговые батареи немедленно отвечают тем же. Эмма в восторге, но вскоре устает от грохота и порохового дыма Нельсон немедленно прекращает бой и берет курс на Сицилию. Там он вместе с Гамильтонами посещает свое ново-приобретенное поместье Бронте.
Тем временем вице-адмирал Кейт продолжает осаду Генуи, его корабли постоянно участвуют в боевых стычках. Кроме этого, прошел слух, что Бонапарт собрал большую армию и собирается вторгнуться в Северную Италию через Альпы.
— Я понимаю, что Нельсон герой, но разве можно устраивать из войны посмешище, развлекаться и танцевать, когда твои боевые товарищи сражаются! — возмущается Кейт и просит лорда Спенсера отозвать Нельсона в Англию, а вместо него прислать менее знаменитого, но более дисциплинированного флагмана.
Кейта можно понять, ведь у него полным-полно забот и без нельсоновских капризов. Он хотел бы направить Нельсона на блокаду французского флота к Бресту, но заранее знает, что тот никогда и никуда не тронется с места без Гамильтонов. Даже Мальтой герой Абукира перестал интересоваться совершенно и поддерживает ее блокаду чисто формально. Весь гнев Кейта виден в его письмах: «Насколько я понимаю, Мальта может продержаться еще три-четыре месяца, если, конечно, леди Гамильтон не примет решения взять ее штурмом».
Первый лорд, несмотря на свою симпатию к Нельсону, понимает, что требования Кейта справедливы. В очередном письме Нельсону лорд Спенсер намекает ему, что сейчас самое время для возвращения в Англию, тем более что причина отзыва весьма существенная: его плохое здоровье. Но Нельсон делает вид, что намека не понимает. Зачем ему Англия, где ждет уже нелюбимая и скучная Фанни, когда здесь есть любимая и веселая Эмма? Нельсон и Гамильтоны рассуждают о том, что неплохо было бы, если бы отставной дипломат остался в Палермо как частное лицо. Для Нельсона и Эммы это самый лучший выход из создавшейся ситуации. Сэр Уильям вздыхает, но куда ему деваться!
Однако и лорд Спенсер не привык повторять дважды: «У меня нет ни желания, ни намерения отзывать Вас со службы, однако по причине своего нездоровья Вы должны покинуть Ваш пост у Мальты. Я полагаю, Вы не сделали бы этого без особой необходимости. Но мне кажется, что Вам лучше немедленно вернуться домой, чем оставаться бездеятельным в Палермо, в то время как в других местах идут военные действия. Я думаю, все Ваши друзья согласятся с тем, что Вы вернете себе здоровье и силы в Англии гораздо быстрее, чем теряя время в чужом королевском дворе — как бы ни были приятны почести, которые Вам оказывают за Ваши заслуги».
После этого письма Нельсон понимает, что его служба на Средиземном море завершена. Дело в том, что из-за тяжелой болезни недавно был вынужден покинуть свой пост граф Сент-Винсент. Сразу встал вопрос о преемнике. Нельсон считал, что как герой Абукира имеет все права стать главнокомандующим атлантическим флотом. Для него это был бы огромный прыжок в карьере, ведь по штату военного времени во главе флота должен был стоять полный адмирал. Однако лорды Адмиралтейства после долгих дебатов пришли к выводу, что Нельсон как главнокомандующий вряд ли сможет без влияния леди Гамильтон самостоятельно принять хоть какое-то решение, а поэтому все действия флота в конце концов сведутся к отстаиванию неаполитанских интересов. Опасение внушало и здоровье Нельсона, на которое тот жаловался почти в каждом письме (особенно если служебные дела обстояли не слишком хорошо). Именно поэтому Адмиралтейство приняло решение о назначении на эту престижнейшую из должностей в британском флоте не агрессивного и талантливого Нельсона, а трудолюбивого и дисциплинированного Кейта. Впрочем, Кейт был впереди Нельсона по старшинству и формально придраться к его назначению было нельзя.
После всего этого Нельсону ничего не оставалось, как сдавать дела и уезжать в Англию, причем чем быстрее, тем лучше. Но и здесь Нельсон остался верен себе. Он снова просит Адмиралтейство предоставить для его (и четы Гамильтонов, разумеется) переезда линейный корабль. Разумеется, Адмиралтейство ответило решительным отказом.
Нельсон обиделся. Он искренне считал, что его заслуги стоят того, чтобы к нему относились не так, как ко всем другим. Леди Гамильтон утешала и говорила, что если обстоятельства складываются таким образом, то им лучше всего отправиться в Англию сухопутным путем через Европу. Они бы сопровождали королеву Марию Каролину, которая решила нанести визит своим родственникам в Вене. Таким образом, леди Гамильтон рассчитывала продолжить прославление Нельсона, но уже по всей материковой Европе.