Так случилось, что государственные инквизиторы (обвинители) — триумвират патрициев, который контролировал внутреннюю безопасность в Венеции, а потому внимательно следил за кругом общения молодых членов венецианского истеблишмента (за Меммо, в частности) — обратили внимание на Казанову, который уже попадался им на глаза со своими театральными крамольными шалостями. Его сочли опасным. В государственном архиве Венеции сохранилось увесистое досье, составленное тогда на Джакомо Казанову. Джованни Баттиста Мануци написал ряд донесений о том, что Казанова и братья Меммо делали и говорили. Это добра не предвещало. Мануци описывал arriviste, карьериста-выскочку, Казанову как «человека, склонного к преувеличениям, которому удается жить за счет того или иного лица, вводя его в заблуждение и обманывая». Характеристика была недалека от истины, конечно же, — или от одного из возможных взглядов на жизнь Казановы. Другой шпион записал, что особенно показательны отношения Казановы с Бернардо Меммо и что молодой аристократ «по очередности то любит [Казанову], то пытается одержать над ним верх».
Казанова тоже неоднократно писал об этом периоде своей жизни. Его записи указывают на темную тайную сторону венецианского общества, город удовольствий был одновременно и полицейским государством, и, хотя распущенность Джакомо не особенно выходила за рамки тогдашних обычаев, но нарушение принятых социальных ограничений заставило агентов инквизиции быть к нему более пристрастными. Инквизиция составляет досье «преступлений», которое в конечном итоге приведет Казанову к полному краху.
Совпал целый ряд факторов, в результате которых Казанова оказался вне закона — или, точнее, за рамками приличного общества. В 1754-м и начале 1755 года он использовал свое влияние на увлеченного каббалой Брагадина, чтобы отговорить старого сенатора от брака, к которому того склоняли. Один из членов семьи патриция полагал, что именно Казанова несет ответственность за расстройство вполне вероятного союза, а также за приобщение Брагадина к каббале (скорее всего, последнее было неправдой). Лючия Меммо, мать братьев Меммо, также придерживалась мнения, что безродный Казанова, проводящий много времени в ее палаццо и в ридотто, развращает ее сыновей, повинен в их карточных долгах и портит им репутацию. По-видимому, к этим обвинениям она добавила, что Джакомо масон и атеист, таким образом, он преступал не только социальные границы, но и бросал вызов религии (масоном он, безусловно, был, атеистом тоже вполне мог показаться — люди слышали, как он сочинял непристойные антиклерикальные стихи).
В то же время Казанова оказался втянутым в литературный спор. Он часто участвовал в публичных дебатах в кафе «Сан-Джулиан» с драматургом Дзордзи и громогласно и беспощадно высмеивал почитателей поэзии аббата Кьяри. К сожалению, одним из поклонников аббата-поэта был Антонио Кондальмер, «Красный инквизитор», назначенный самим дожем.
Весной 1755 года, когда Казанова по уши увяз в долгах, он одолжил деньги у графини Лоренцы Мадцалены Бонафеде, которая и прежде отличалась неуравновешенным поведением, но, к несчастью Джакомо, тут уж и вовсе сошла с ума и в обнаженном виде стала бегать по кампо Сан-Пьетро, выкрикивая его имя. Инквизиция усмотрела в этом инциденте угрозу общественному порядку, решив, что Джакомо Казанова опасно приблизился к олигархии. Кьяри оставил нам образ Казановы того периода, описав его как некий вымышленный персонаж, молодого человека, постоянно обращающего на себя внимания, смешного и достаточно эгоистичного, чтобы постоянно совать нос не в свое дело:
Он франт, очень высокого о себе мнения, надутый тщеславием как воздушный шар и суетливый как водяная мельница. Он всюду сует свой нос, волочится за всеми женщинами подряд, гоняется за любым шансом добыть деньги или использовать свои достижения, чтобы занять высокое положение в обществе. Он играет в алхимика со скрягами, в поэта — с красивыми женщинами, в политика — с влиятельными людьми, подстраивается под каждого человека, хотя всякому, кто наделен крупицей здравомыслия, он представляется посмешищем.