А сторонники принца Густава, сына «полковника Густафс- сона», в Швеции конечно ещё не перевелись. 1 января 1817 года, в день именин принца, несколько человек в г. Висбю, напившись до положения риз, провозгласили тост за здоровье «Густава V ». Инцидент привлёк внимание Карла Юхана, и сам канцлер юстиции приступил к его расследованию. Суд приговорил участников пьянки к смертной казни, которую, впрочем, заменили пожизненным тюремным заключением. Когда шведский офицер- «густавианец», принадлежавший известной старой фамилии Даг-ок-Натт (День- и-ночь) в 1816 году написал памфлет в пользу «полковника Гу- стафссона», Карл Юхан не колеблясь приказал приговорить его к смерти, правда, In contumaciam. Но ещё одиознее выглядело т.н. дело кабатчика Линдблума, сфабриковавшего дело о государственном заговоре. Линдблум, старый агент тайной полиции, сделал на ряд лиц донос, которым власти инкриминировали покушение на жизнь кронпринца и его сына Оскара. Ретивый Рудольф Седерстрём буквально на ровном месте раздул огромное дело, получившее сильный негативный резонанс за границей, и сумел упомянуть в нём имя королевы Хедвиг Шарлотты. Поскольку Карл Юхан, как потом записала в дневнике королева, слишком ревностно защищал действия чиновника и мало учитывал оскорблённые чувства приёмной матери, между ней и Карлом Юханом возникло отчуждение. Восторженно принявшая семь лет тому назад принца, королева теперь относилась к нему с большой неприязнью.
При ближайшем рассмотрении выяснилось, что никакого покушения оговорённые Линдблумом люди не планировали, а все его обвинения были высосаны из пальца. Но у страха глаза были велики, и Карл Юхан ещё долго сомневался в своём будущем в Швеции. Вслед за делом Линдблума последовали не менее одиозные дела графа Делагарди и др. Всё это, конечно, мало способствовало укреплению авторитета Карла Юхана как внутри страны, так и за её пределами.
В августе 1816 года в Скандинавии неожиданно «вынырнул» граф Виль-Кастель. Он приехал с секретной миссией от колонии французских эмигрантов в Бельгии, большинство из которых были членами бывшего Конвента, голосовавшими в своё время за казнь Людовика XVI. Теперь они носились с идеей скинуть с трона Людовика XVIII. В задачу авантюриста Виль-Кастеля входило уговорить какого-нибудь принца-некатолика, например, принца Оранского или русского великого князя, выставить свою кандидатуру на французский трон. Перед этим ему было бы полезно заручиться поддержкой и рекомендациями Карла Юхана.
Наследный принц дал указание не пускать Виль-Кастеля в Швецию дальше Кальмара и послал к нему навстречу своего секретаря Ульриха. Виль-Кастель был разочарован и незамедлительно уехал в Польшу. Там его вполне благосклонно принял великий князь Константин Павлович — тем более что авантюрист заверил князя в том, что в своей миссии имеет полную поддержку наследного принца Швеции. Естественно, Константин Павлович доложил об авантюристе брату императору Александру I, а тот предупредил о нём все европейские дворы, включая шведский. Скандал получился шумный, репутация Карла Юхана, и без того «подмоченная », испортилась окончательно, и принцу пришлось перед всеми оправдываться — прежде всего перед Александром I.
1817 год был неудачным для Швеции: страну поразил сельскохозяйственный и финансовый кризис, и настроение кронпринца было особенно удручённым. Придуманный им метод стабилизировать финансовое положение страны с помощью продажи векселей давал существенные сбои. Скоро в стране разразился т.н. дисконтный кризис, причём часть вины за это лежала и на Карле Юхане, который, вопреки советам экономистов, отказался от идеи государственного вмешательства и государственной поддержки дисконтных банков и вовремя не помог им из государственных резервов. Для решения дисконтного кризиса пришлось снова созывать риксдаг.
Впрочем, принц не сдавался и упорно продолжал разгребать «авгиевы конюшни ». Предметом его пристального внимания стали т.н. аккорды — пагубная и широко распространённая, особенно в армии, практика приобретения чинов и должностей с помощью, как бы мы сейчас сказали, «отката », т.е. выплаты денежной компенсации лицам, занимавшим должность или чин. Карл Юхан призвал шведов прекратить практику аккордов: «Если мы хотим видеть Швецию свободной, счастливой и хорошо управляемой, то аккорды должны исчезнуть. Если мне не помешают, я найду средства, помимо государственных, чтобы осуществить эту меру», и сделал ставку на организацию для военных нормальных пенсий. Он принимал меры борьбы с нищенством и попрошайничеством, бил тревогу по поводу распространения венерических заболеваний и помогал организовывать благотворительные и медицинские учреждения.