А покидая рабочий стол и выходя за пределы кабинета, Казанова вновь оказывался в пустынных коридорах замка, среди враждебных ему слуг, старавшихся перещеголять друг друга по части измышления пакостей для библиотекаря. Всех превзошел Видерхольт. Выдрав из какой-то книжки Казановы его портрет, он фекалиями прилепил его в уборной. Разъяренный Казанова помчался к мировому судье Дукса и потребовал сурово наказать обидчика. Судья ограничился внушением и порицанием. В былые времена Казанова непременно вызвал бы гнусного шутника на дуэль или же попросту отколотил его палкой, но сейчас ему пришлось проглотить обиду. А вскоре на Казанову обрушилось новое несчастье. Для издания своих трудов он занял у дрезденского ростовщика восемьдесят талеров под проценты. Настал срок уплаты, ростовщик грозил пожаловаться графу, и Казанова, не желая огласки, продал шубу, чтобы расплатиться. На дворе стояла зима, и Казанова писал своим корреспондентам: «Я запасаюсь терпением, сижу в замке и никуда не выхожу. Все проходит, и зима тоже пройдет. Это еще не самое худшее. В комнате у меня тепло, меня окружают любимые книги, и я беседую с ними, как со старыми друзьями. Вчера приходили с приглашением на бал, должный состояться в поместье неподалеку. Будет много красивых девушек. Однако я отказался, ибо в последнее время стыжусь совершить глупость или нелепость, отчего все кругом веселятся, а мне становится дурно и я начинаю опасаться за свое здоровье. Не желая укорачивать дни свои, я более не ходок на балы». Рассуждения, достойные не Горация, но Сенеки. С годами Казанова становился истинным философом.
Однако философствовать Казанова был готов только на бумаге, в быту он по-прежнему оставался ворчливым, всем недовольным стариком, постоянно пребывавшим в состоянии войны со всеми обитателями замка. Когда приезжал граф, он бросался жаловаться графу, если вместо графа в замке гостила его матушка, он жаловался ей. Со временем Вальдштейн перестал прислушиваться к недовольному ворчанью Казановы, но матушка его, будучи возраста изрядного, пыталась утихомирить сварливого старца, советуя ему быть «добрее и любезнее» с обитателями замка. «Не судите, да не судимы будете», — часто напоминала она ему евангельскую заповедь. Библиотекарь с ней соглашался, однако предпочитал, чтобы Евангелию следовали другие. Однажды на прогулке он столкнулся с графским кучером, поссорился с ним из-за какого-то пустяка, и кучер отколотил его палкой. Разъяренный Казанова, смыв кровь и перевязав синяки, отправился к судье требовать правосудия. Судья отослал его к графу, полагая, что раз кучер служит у графа, значит, тому и определять его вину. Казанова поехал в соседнее поместье Брукс, также принадлежавшее Вальдштейну, но и там владельца не оказалось. Тогда венецианец разразился язвительными, исполненными жаждой мести «письмами к мажордому». Письма до адресата не дошли, но сохранились в архиве Казановы. Не пощадило перо старца и поколотившего его кучера. В письме к Вальдштейну он называет его мерзким шутом, обезьяной, недостойной графских милостей, и подробно излагает, как было дело. На этот раз жалобы Казановы не остались без ответа. Порядок навел брат графа Фердинанд. Приехав в Дукс, он сурово отчитал и мажордома, и его подручных, и всю прислугу, пообещав лично оторвать голову каждому, кто посмеет неуважительно обойтись с господином библиотекарем.
Наступил период затишья. Но вскоре Казанова вынужден был покинуть Дукс и перебраться в Брукс. На этот раз он бежал не от злобного мажордома и его клевретов, а от гнева нескольких разъяренных мамаш городка, обвинивших его в соблазнении и растлении их малолетних дочерей. Сейчас уже невозможно определить, сделали ли из престарелого Казановы козла отпущения за чужие шалости или же старец, вспомнив молодость, действительно обольстил нескольких несмышленых крестьяночек. Жители городка привыкли, что летом, особенно в погожие дни, высокий сварливый старик в старомодном, плохо напудренном парике и кафтане с некогда золотым, а теперь потускневшим и почерневшим шитьем выходил погулять и, бродя по кривым улочкам, непременно заглядывался на всех проходящих мимо девушек, а иногда даже, видимо, когда его не одолевал ревматизм, пытался схватить их и обнять, а когда они вырывались, начинал ругаться на незнакомом им языке.