К этому короткому швейцарскому периоду относится еще одно произведение Байрона, именно «Шильонский узник». Замок Шильон находится на берегах Женевского озера. Шелли и Байрон любили посещать это место и ознакомились с историей людей, для которых Шильонский замок был превращен в тюрьму. У Руссо есть в «Новой Элоизе» примечание к восьмому письму шестой книги: «В течение шести лет в Шильоне был узником Франсуа Боннивар, настоятель церкви святого Виктора, человек доблестный, человек испытанной прямоты и твердости характера, друг свободы, хотя он был родом из Савойи, друг веротерпимости, хотя он и носил рясу». Боннивар родился в 1493 году. Не называя его имени, Байрон посвятил Боннивару, его истории, свою поэму. Много лет спустя, как бы вспоминая о времени, проведенном в Шильоне, Байрон снова возвращается к истории Боннивара и посвящает ему один из лучших своих сонетов, прямо называя героя и устанавливая связь этого имени со своей поэмой.
Швейцарский дневник Байрона, посвященный сестре, более всего указывает на истинные источники «Манфреда», и Байрон сам подчеркивает, что «величие альпийской природы было все-таки самым большим литературным источником моим». А в одном из писем этого года Байрон сообщает: «Гораздо больше, чем какой бы то ни было „Фауст“, меня побудило написать эту поэму («Манфред») зрелище вершин Штаубаха, Юнгфрау, Монблана. К этому я прибавлю кое-что другое».
Байрон был очень встревожен внезапными гонениями на сестру. Он хотел спасти ее от злобной английской сплетни и заблаговременно желал вызвать ее в Швейцарию, опасаясь за ее судьбу. Он был прав. Удар был нанесен именно в эту сторону.
К этому времени относится переписка Вальтер Скотта с Роджерсом. Оба они были неизменными друзьями Байрона и оба не на шутку были встревожены тучей, нависшей над головой поэта. Вальтер Скотт писал: «Злосчастная семейная история дала многоголовые глупости, временное торжество над одной гениальной головой, над великим умом и выдающимся талантом». Байрон не знал размеров угрожавшей ему опасности, он более, чем когда-либо, был беспечен в житейском смысле слова. Сводная сестра жены Шелли, молодая, красивая женщина Джен Клермонт, делала все, чтобы сблизиться с Байроном в Швейцарии. Ее страсть к поэту началась еще в Англии. Теперь она имела все шансы на успех. Байрон дал себя увлечь. Возник кратковременный легкомысленный союз, разрыв которого Джен очень тяжело переживала, тем более, что уже много времени спустя после от'езда из Швейцарии она узнала, что ей суждено было стать матерью. Байрон вторично стал отцом. Девочка Аллегра была его второй дочерью.
Именно в период этого увлечения до Байрона дошли слухи о том, что семья Мильбенк, по чьему-то наущению, стала оперировать против Байрона новым клеветническим измышлением. Был пущен слух, что Байрон совершенно не братски относился к своей сестре Августе Ли. Этот слух, пущенный искусно, рос и увеличивался, словно какой-то рупор превратил этот сдавленный шопот в голос громкой клеветы.
Ужасное чувство охватило Байрона при первом известии об этом измышлении его врагов. Байрон говорит: «Довольно долгое время после моего от'езда я был в неведении о способах действия моих врагов. Но вот до меня дошли слухи о новой их клевете. Мои друзья обязаны были во-время рассказать мне то, о чем они молчали».
Прилив бережной и горячей нежности к сестре в швейцарский период об'ясняется именно этим фактом: дошедшими слухами и стремлением помочь близкому человеку. В известных произведениях — «Стансы к Августе», «Послание» — Байрон опять подчеркивал свои неизменные чувства нежной любви к сестре, просил ее любви и дружбы к нему, «отверженному», не находящему покоя человеку. Все новые и новые толки росли в среде его врагов.
Трещина в семейных отношениях Байрона разрасталась до размеров пропасти между ним и обществом целой страны. Нехватало только литературного оформления этой вражды.