Свадьба стала ещё одним из контрастов света и тьмы в жизни Гюго. Средний брат Виктора — Эжен, чей характер давно уже отличался угрюмостью и замкнутостью, вёл себя всё более странно, после того как молодых оставили в спальне одних, придя к себе домой, впал в буйное помешательство. Подозревали, что он также любил Адель и брачное торжество брата стало тем «триггером», как принято сегодня выражаться, спровоцировавшим психический кризис, после которого он так и не пришёл в себя. Его отослали к отцу в провинцию, но просвета сознания не наступало. В итоге Эжен был помещён в лечебницу, где и находился до своей смерти в 1837 году. Виктор иногда навещал его там, всякий раз ужасаясь увиденному — его брат, также когда-то писавший стихи, терял человеческий облик. Эжен стал «чёрным человеком» романтической поэзии для Виктора, его роковым двойником, наглядным напоминанием того, что может случиться с каждым.
Через девять месяцев после свадьбы родился первенец — хилый малыш, названный Леопольдом Виктором, в честь деда и отца одновременно. Но ребёнок умер через три месяца — довольно типичный случай для того времени, когда младенческая и вообще детская смертность была очень высока. Удивительно скорее то, что все следующие четверо детей достигли взрослого возраста. Дети у супругов Гюго рождались один за другим, с интервалом два года: в 1824-м — старшая дочь Леопольдина, в 1826-м — Шарль, в 1828-м — Франсуа Виктор, в 1830-м — младшая Адель.
Вскоре после свадьбы случилось примирение с отцом, который в провинциальном спокойствии обратился к писательству. В 1823 году Леопольд Гюго опубликовал свои «Воспоминания», а в 1825-м — роман «Тирольское приключение». Видимо, литературные способности у Виктора возникли не на пустом месте, а были унаследованы от отца, столь сильно отличавшегося от матери. Это был порой легкомысленный, но добрый человек, снисходительный, жизнелюбивый, храбрый, но без грубости, вояка.
По сути, ранее Виктор отца и не знал, живя с ним в разлуке. И только после смерти матери и женитьбы у них стали восстанавливаться отношения. Леопольд пригласил пожить к себе первого внука с кормилицей, а в 1825 году молодые супруги наконец-то осуществили визит в Блуа, где их радушно принимали отец вместе со второй, теперь уже законной женой, некогда «девицей Тома». Для Виктора поездка за 150 километров от Парижа была целым путешествием, и он наслаждался общением с отцом, в котором теперь видел героя, который рассказывал ему о своих приключениях и подвигах. Отец, купив и дом в Блуа, и загородное поместье, вёл идиллическую жизнь в провинции на генеральскую пенсию, об увеличении которой Виктор хлопотал в Париже через своих высокопоставленных знакомых. Так что сын служил для отставного военного незаменимым помощником, что заставляло относиться к нему с уважением. Литературные занятия Виктора, к которым Леопольд относился как к чему-то несерьёзному, оказались способными приносить практическую пользу и признание. А когда в 1825 году поэт получил орден Почётного легиона, отец ликовал. Это превзошло все его ожидания.
Главным для Виктора Гюго занятием всегда была литература. Несмотря на молодость, он быстро выдвинулся в первые ряды французских литераторов, сделав себе имя прежде всего благодаря стихам. После выхода в 1822 году «Од» он был признан одним из ведущих поэтов своего поколения. Его единственным серьёзным соперником мог считаться только Альфонс де Ламартин, чьи «Поэтические размышления» (в сборник входило знаменитое «Озеро») вышли в 1820 году и сразу сделали их автора известным. Виньи тогда ещё только делал первые шаги. Можно сказать, что французский романтизм в поэзии начался с Шенье, чей посмертный сборник появился в 1819-м, и с Ламартина, чьи меланхоличные стихи, оживлённые непосредственным чувством, стали заметной вехой. Гюго познакомился с Ламартином в начале 1820-х годов. Оба поэта уважали и признавали друг друга, но близких отношений, как в случае с Виньи, между ними не возникло. Ламартин был непрост в общении и не был склонен подчиняться, хотя бы эстетически, Гюго, привыкшему быть лидером.