Впрочем, и это время можно поделить на этапы. Первые три года Гюго безвыездно прожил на острове Джерси, сняв дом, которому дал название «Марин-Террас». Он стоял на восточной окраине Сент-Хелиера, в довольно пустынном тогда месте. Самое короткое расстояние до французского берега от острова было менее 30 километров, но дом Гюго находился на южном берегу и смотрел не на Нормандию, а на Бретань, до которой было в два раза дальше, но и там можно было различить маяк города Сен-Мало, в котором был похоронен Шатобриан.
Островитяне сохраняли немало древних обычаев. Так, 29 мая 1853 года Гюго увидел телегу, украшенную дубовыми ветками. Оказывается, обряду было уже почти 200 лет — в этот день английский король Карл II спасся в дупле огромного дуба после своего поражения в битве при Вустере в 1651 году. В том же году, в ночь с 1 на 2 апреля, Гюго стал свидетелем крайне редкого события для этих мест — землетрясения.
Однако джерсийская идиллия, наполненная трудом и прогулками по берегу моря и мечтаниями у древних дольменов и менгиров, а также встречами с эмигрантами, среди которых были известные люди, например христианский социалист Пьер Леру, продлилась сравнительно недолго. Виктор Гюго вступился за эмигранта-республиканца Феликса Пиа, который в своей статье довольно грубо высмеял королеву Викторию за визит к Наполеону III, что возмутило чопорных джерсийцев, добропорядочных монархистов, а в «копилке» претензий властей к Гюго их накопилось уже приличное количество, в том числе открытое письмо премьер-министру Пальмерстону с протестом против смертной казни на островах. В итоге 27 октября 1855 года Гюго объявили приказ местного губернатора о том, что он высылается с Джерси. Через четыре дня поэт отправился на остров Гернси. Несмотря на краткость пребывания, Гюго был обязан Джерси написанием большей части сборников «Возмездия» и «Созерцания».
Гернси был менее населённым и несколько меньшим по размерам островом, но в целом очень похожим на Джерси. Чтобы обосноваться прочнее, поэт решил купить недвижимость. В мае 1856 года он стал собственником особняка, названного им Отвиль-хаусом, приобретённого им на гонорар за сборник «Созерцания». Как он объяснял впоследствии, «я купил здесь дом, получив тем самым право убежища и неприкосновенность; в четвёртый раз изгнание мне здесь не угрожает». Теперь его жилище смотрело на восток, то есть на нормандское побережье Франции, находящееся в 50 километрах, которое он порой мог различать. На три года Гюго с головой ушёл в ремонт и переоборудование дома, со вкусом истинного художника создавая интерьеры и подбирая обстановку, превратив его в подлинный шедевр дизайна, говоря современным языком. Отвиль-хаус стал для многих во Франции чем-то вроде Ясной Поляны в России десятилетиями позднее. Сюда приезжали противники режима, чтобы засвидетельствовать своё почтение легендарному поэту и борцу. Недаром французский писатель Анри Труайя отмечал: «...в стране тогда было две власти: Наполеон III во дворце Тюильри и отделённый от Франции морскими волнами Виктор Гюго в “Отвиль-хаусе”». Примерно такими же словами говорили о Льве Толстом и царе Николае II.
Здесь он безвыездно прожил пять лет, не считая краткого плавания на соседний островок Сарк в 1859 году. Первый раз на несколько дней Гюго покинул Гернси в июне 1860 года, посетив Джерси, где состоялась манифестация в поддержку похода Гарибальди — знаменитой «Тысячи». Но в 1860-е годы образ жизни Гюго поменялся. Он стал регулярно выезжать на континент. Первый раз он отправился 25 марта 1861 года и пробыл в Бельгии до 3 сентября. Все последующие годы летние поездки на континент продолжались, за исключением 1862-го. Помимо Бельгии, Гюго посещал Люксембург, прирейнские города Германии, такие как Майнц, Кёльн, Ахен, а также в 1869 году побывал в Швейцарии, где спустя 20 лет он вновь председательствовал на Конгрессе мира в Лозанне. По пути он порой ненадолго заезжал в Лондон. Адель, впрочем, стала покидать Гернси ещё раньше, с 1858 года, и надолго (один раз даже в течение двух лет) приезжала в закрытый для её мужа Париж. Виктор Гюго отверг объявленную в 1859 году Наполеоном III амнистию, заявив: «Я вернусь, когда вернётся свобода».