Оправившись, он вновь уехал в Прагу, тем более что для поездки у него появился прекрасный повод: вышла его «История побега из Пьомби». Прочитав ее, друг Казановы, Ж. Ф. Опиц, восхищенный живостью авторского стиля, тотчас рекомендовал брошюру всем своим друзьям. Иное дело «Икозамерон»; роман был издан в пяти книгах, успеха не сыскал и разорил автора совершеннейше, ибо издание сделано было полностью за его счет. Ни подписчиков-читателей, ни книгопродавцев, пожелавших выкупить тираж, Казанова не нашел. В Праге Казанова встретился с Да Понте, как раз завершавшим работу над либретто к опере Моцарта «Дон Жуан». Уже была назначена премьера, Да Понте торопился, и Казанова принял участие в последней редакции либретто. Работа была напряженной, отношения между Казановой и Да Понте, как обычно, были натянутыми. Вдобавок Казанова пребывал в подавленном состоянии по причине провала «Икозамерона», и, ослабев духом, он быстро стал жертвой инфлюэнцы, свирепствовавшей в то время в Богемии. Однако, уверенный, что знает собственный организм лучше любых врачей, Казанова сам назначил себе лечение: режим, строгую диету и чай без ограничения. Чай был любимым напитком Казановы (в отличие от Вольтера, предпочитавшего кофе).
Вернувшись в Дукс без гроша в кармане, он сразу почувствовал, что ему здесь не рады. Прислуга, объединившись, возобновила травлю. Казанова принялся защищаться и даже пошел в наступление. Будучи вспыльчивым и обидчивым от природы, к старости он совершенно перестал себя сдерживать. Он цеплялся к пустякам, поднимал скандалы на ровном месте: жаловался на собак, мешавших ему спать своим лаем, на кучера, избравшего для него самую скверную дорогу, на кухарку, испортившую его кушанье. В ответ кухарка, склочная и злобная бабенка, отказалась готовить и подавать Казанове отдельно, и ему пришлось обедать вместе с ненавистным ему Фельткирхнером. Тут Казанова разошелся: он бушевал из-за стакана молока, который ему забыли подать, из-за неправильно приготовленных макарон и вчерашнего кофе, из-за кислого соуса и подгоревшего жаркого. Сварливый и вечно чем-то недовольный, он ухитрился поссориться даже со своим гостеприимным хозяином. Матушка Вальдштейна мечтала женить сына, надеясь, что после свадьбы он остепенится, прекратит колесить по Европе и беспутствовать. Но вместо женитьбы Вальдштейн соблазнил юную девицу по имена Каролина, служившую в замке камеристкой, и сделал ее своей любовницей. Не сумев повлиять на сына, о романе которого судачила вся округа, старая графиня обратилась к Казанове с просьбой вразумить графа. Подобные поручения никогда не смущали Авантюриста, желание указать и распорядиться было у него в крови; он согласился. И потерпел полное фиаско, ибо, забывшись, взял неверный тон — принялся свысока, по-отечески увещевать графа. Вальдштейну это не понравилось, и он сухо ответил, что не нуждается ни в чьих советах, и уж тем более в советах библиотекаря. После такой беседы Казанова несколько дней не разговаривал с графом, но потом они помирились; узнав, что Казанова остался без гроша, граф купил у него все его рукописи. Таким образом замок Дукс стал естественным хранилищем рукописей Казановы, его архивом (каковым он и является по сей день; в нем же расположен музей Казановы).
Война с Фельткирхнером продолжалась; одно время мажордом даже начал уставать от столь продолжительных военных действий, но Казанова, похоже, наоборот, вошел во вкус. Целыми днями в доме раздавалось его брюзжание; он обижался не только на прислугу, но и на графа: почему тот отдает книги из библиотеки, не предупреждая его об этом? Почему, когда в замке собирается много гостей, ему непременно не хватает места за общим столом? Почему граф не считает нужным знакомить его с гостями? А уж от прислуги только вреда и ожидай: кучер не снял шапку, горничная забыла вовремя поменять белье, суп подали слишком горячий, башмаки плохо почистили, парик причесали из рук вон плохо… Более всего раздражал Казанову смех. Сам он даже в лучшие годы смеялся редко, в основном заставлял смеяться других над своими рассказами и историями. Ирония по отношению к себе у него отсутствовала вовсе, и в старости это стало для него источником мучений. Хотелось ли ему поговорить по-немецки, почитать французские стихи, продекламировать отрывок из любимого Ариосто — смеялись все вокруг, а жизнь без слова для Казановы была равносильна смерти.