Идиллия закончилась в один день, когда история о «сыне барона де Везена» доходит до ушей его мнимого «отца». Тот незамедлительно пишет виконтессе, которая, осознав наконец, что ее обманули, немедленно отправляет Матюрена назад на родину. Но старшая сестра Брюно Жанна Делоне не горит желанием заниматься воспитанием «изгнанника». Она умоляет виконтессу дать ему какую-нибудь работу, и та, по доброте душевной, идет ей навстречу – и бывший «виконт де Везен» становится подручным на псарне.
К хорошему, как говорят, привыкаешь быстро. «Падение» с высоты оказалось слишком болезненным для бывшего «сына де Везена». Работать Матюрен не желает, причем не только на псарне, но и вообще, поэтому несколько месяцев спустя виконтесса Тюрпен все-таки отсылает его домой.
Шурин пытается научить будущего «дофина» тачать сапоги, но и это занятие не приходится по вкусу будущему претенденту на королевский престол. Через два года он вновь уходит из дому, и следы его теряются вплоть до 1803 года, когда он был арестован в Сен-Дени за бродяжничество и приказом префекта полиции Дюбуа определен на 10 лет канониром в 4-й полк морской артиллерии. По странной иронии судьбы Матюрен попадает служить на фрегат «Cyblle», который всего лишь через три года увезет в ссылку еще одного «кандидата» в дофины – Эрваго.
Из армии Матюрен бежал. В Норфолке он дезертировал с корабля, за что его приговорили заочно к 7 годам исправительных работ и штрафу в 1500 франков. Далее в Америке он выступает в роли булочника при французе Одюке, живущем в Филадельфии, затем в Нью-Йорке поступает в услужение в богатую семью.
В 1815 году Матюрен решил вернуться во Францию и здесь вновь продолжил карьеру самозванца. Некий моряк в Мен-на-Луаре принимает его за некоего Филиппо, человека, пропавшего без вести в 1807 году. Узнав, что жена пропавшего состоятельна, Брюно охотно соглашается и на эту роль. Его признают, хотя и не без сомнений.
В декабре того же года Матюрен был арестован в Сен-Крепене за пьянство в общественном месте. И вот тут-то на допросе он назвал себя Шарлем Наваррским. В какой момент подобная идея пришла ему в голову – сказать трудно. Полиция, не обращая никакого внимания на это заявление, проверив его американский паспорт и убедившись, что немного денег у арестанта все же имеется (то есть его нельзя обвинить в бродяжничестве), ограничивается предупреждением.
Второй раз Матюрен был арестован – все по той же причине – несколько дней спустя в Сен-Мало. На этот раз он оказался без паспорта, а его совершенно невероятные рассказы о себе вызвали у полицейских сомнения в адекватности арестованного. Для выяснения его личности полиция начинает расследование.
Достаточно быстро удается разыскать жену Филиппо, которая теперь уже называет арестованного своим сыном. Однако тот отрекается от новоявленной «матушки», объявляет себя «сыном Людовика XVI» и тут же в тюрьме диктует (по причине собственной неграмотности) письмо на имя правящего монарха с требованием аудиенции, во время которой «он сможет представить неопровержимые доказательства» собственного происхождения, и с достаточно прозрачным требованием освободить для него трон. Неудивительно, что после всего этого его принимают за сумасшедшего и отправляют в лечебницу. Однако врачи не замечают ничего необычного в поведении новоявленного пациента, и Матюрен четыре дня спустя возвращается в тюрьму.
Тем временем слухи о том, что дофин, сын Людовика XVI, жив, находится в тюрьме и терпит жестокое обращение, распространяются с молниеносной быстротой. Срабатывает тот же механизм, который обычно включался и в случаях с другими самозванцами: недовольство своим положением, нестабильность жизненных условий народа вызывает подсознательное ожидание «доброго короля» (что характерно для жителей любых стран), а тут появляется очаровательный молодой человек.
Ему прощают и грубую простонародную речь, и очевидную неграмотность – последнее, правда, списывают на счет «революционного воспитания» и долгой жизни в Америке. Поклонники Матюрена даже пишут письмо герцогине Ангулемской с требованием признать в арестанте своего пропавшего брата.
Опасаясь вполне реальной угрозы народных волнений, власти отправляют претендента в Ренн, затем по личному распоряжению министра полиции Деказа его переводят в Руан. Но именно в Руане претендент и обретает настоящую известность. Его первый сторонник – тюремщик Либуа – именует Матюрена «вашим величеством» и с готовностью впускает к нему любого, желающего засвидетельствовать почтение. Тюрьма превращается в некий теневой королевский двор, претендента засыпают подарками, жители Руана ссужают его деньгами, и самозванец чувствует себя на гребне славы. Чтобы занять чем-то время до суда, Матюрен тачает сапоги, диктует письма «сестре», герцогине Ангулемской и в конце концов берется за «мемуары наследника престола». «Секретарями» ему служат Бранзон, профессиональный вор, и Турли, бывший судебный исполнитель, севший в тюрьму за взятки.