В 1810 году владимирскому губернатору и столичному жителю И.М.Долгорукову, наоборот, местные нравы представлялись в самых мрачных тонах. Посудите сами: дворянский предводитель города Коврова Рогановский, «
Пожилой и богатый дворянин Кайсаров, овдовев после трёх браков и получив отказ заключить четвёртый, завёл любовницу и имел от неё внебрачных детей, которых крестил его сын от первой жены. Император Павел отказал ему в ходатайстве усыновить внебрачных детей, и тогда Кайсаров женил на любовнице сына от первого брака и навязал ему всех её детей. Таким образом, сын усыновлял своих побочных братьев! Начатое против Кайсаровых дело кончилось, когда отец и сын уже померли от пьянства.
Да что там рядовые дворяне! Губернский прокурор Бут открыто жил с местной Мессалиной, а потом женился на её дочери, наградив первую незаконными, а вторую – законными чадами.
В 1811 году во время крестного хода и торжественной литургии в Боголюбском монастыре по случаю возвращения иконы Богородицы протопоп Александр, то ли родственник Сперанского, то ли внебрачный сын митрополита Амвросия, по характеристике губернатора Долгорукова,
Инцидент, казалось, был исчерпан, но не тут-то было. Дело доложили в Синод. Этим немедленно воспользовались недруги губернатора в Петербурге и Владимире. Они обвинили губернатора в избиении протопопа и грубом обращении с его тестем и, нагородив кучу лжи и клеветы, начали компанию по его дискредитации и удалению с губернаторского поста.
Вот так, практически на ровном месте, возник конфликт, в котором «политкорректный» Петербург взял сторону распоясавшихся попов. Из столицы приехал статский советник Харламов, чтобы расследовать это дело, которое дошло до самого царя. Причём первой мыслью Александра I было уволить губернатора с места.
Потом Долгоруков на почве нарушения закона о рекрутском наборе столкнулся с упоминавшимся выше вице-губернатором А.Е.Дюнантом (1809—1819). Дюнант, совершив по дешёвке купчую на двух дворовых людей, решил заработать на них и сдать в рекруты. При этом он не стал дожидаться положенного законом трёхлетнего срока после заключения купчей, а сразу представил их в качестве своих рекрутов. Чтобы обойти закон, Адриан Егорович инсценировал у себя кражу шкатулки с деньгами одним из этих купленных крестьян, а если крестьянин вор, то ему прямая дорога в армию. Купив крестьян по дешёвке, вице-губернатор мог получить за них рекрутские квитанции, которые котировались уже намного дороже купчей. Расчёты Дюнанта не оправдались, потому что Долгоруков доложил о его махинациях в Петербург.
Князю Ивану Михайловичу вспомнили другие «прегрешения», и судьба его как губернатора была предрешена. Дюнант в отместку подал на губернатора донос, обвинив его в поборах с крестьян на рекрутском наборе и в потворстве махинациям полицмейстера, якобы наживавшегося на пошивке мундиров для армии. В конечном итоге владимирские враги князя Ивана сумели создать в губернии соответствующее общественное мнение и «скушали» губернатора со всеми потрохами.