Наполеон спросил гостя, какой способ правления нужен Франции. Флери назвал регентство. Император удивился: ради чего? разве он умер? Он задал прямой вопрос о возможности своего возвращения и отвел глаза, с тревогой ожидая ответа. Собеседник колебался. Наполеон резко потребовал ответа на заданный вопрос. Флери ответил утвердительно. Император переспросил его, волнуясь. Собеседник еще раз выразил свое убеждение, что народ и армия примут Наполеона как освободителя.
Император быстро расстался с посетителем, а на следующий день объявил о принятом решении покинуть Эльбу, умалчивая о дате и обстоятельствах отъезда. В течение нескольких дней он почти не покидал свой дворец и часто вызывал генералов. На его столе лежала карта Франции, важные точки на ней были отмечены булавками.
Вернулась хорошая погода, и император возобновил строительные и хозяйственные дела. С начала мая 1814 года он сделал на острове улучшения, которые без него заняли бы целый век. Он реформировал таможню и службу регистрации, построил пять дворцов и усадеб, городской театр, лазарет и новую больницу, проложил красивую улицу, отремонтировал казармы и диспансеры, укрепил Портоферрайо, вымостил улицы и осветил их фонарями, оснастил каждый дом отхожим местом, организовал службу сбора мусора, улучшил снабжение города питьевой водой с помощью резервуаров, привел в порядок старые дороги и построил новые, посадил оливковые деревья и шелковицы, украсил улицы и дороги деревьями, научил островитян возделывать картофель, обнаружил природный источник целебной газированной воды.
В последние дни перед отъездом Наполеон стряхнул с себя тяжесть глубоких дум и пребывал в прекрасном настроении — шутил с Полиной, посещал мать и обедал с ней. Он проявлял обычную активность, и посторонние не могли заподозрить его в перемене планов. Наполеон инспектировал гвардию, приказал солдатам разбить сад вокруг помещений казарм, продолжал улучшать военные сооружения вокруг города.
Нил Кемпбелл ослабил бдительность и отправился во Флоренцию. Прибыл посланец от Мюрата и сообщил о скором закрытии Венского конгресса. Это означало, что союзники разъедутся по домам и не смогут принять быстрых и эффективных контрмер. Наполеон дал приказы отремонтировать суда и перекрасить бриг «Инконстант», чтобы он выглядел как английский торговый корабль.
23 февраля Наполеон совершал прогулку вместе с матерью. Император сказал ей о несчастьях Франции и о потере преимуществ, которые он добыл для свой страны. Наполеон сообщил матери, что хочет еще раз попытаться освободить Францию, и спросил ее мнение об этих планах. Мать взяла паузу, сильно волнуясь и понимая, что может больше никогда не увидеть сына. Твердо и убежденно она ответила, что Наполеон должен выполнить свое предназначение.
Настал день отъезда. Император объявил представителям города о том, что покидает остров. Он сжег свои бумаги.
Мать и сестра Наполеона долго не выпускали его из объятий. Император поцеловал их на прощание, покинул резиденцию и в экипаже направился в гавань. Жители острова вышли попрощаться с императором и иллюминировали дорогу. Повсюду слышались здравницы в его честь. Тысяча человек, которым предстояло уплыть с ним во Францию, погрузились на корабли. Шестьсот гвардейцев, корсиканский батальон и отряд поляков представляли силу, с которой Наполеон должен был вновь покорить Францию.
Он ступил на борт корабля. Флотилия немедленно отчалила, подгоняемая легким бризом. Светила полная луна. Вскоре суда разошлись, чтобы не привлекать к себе внимания.