А в ноябре на имя Долгорукова пришёл императорский рескрипт от 18 ноября 1805 года, в котором Александр I, ссылаясь на отчёт графа Головкина, писал, что
На этом недруги Долгорукова не успокоились и нашли новый повод наслать на него ревизора – непорядки в содержании корабельных лесов. Петербург немедленно выслал во Владимир действительного статского советника Арсеньева. Губернатор знал его по Петербургу как мужичка бойкого, лукавого и пронырливого, несколько стушевавшегося при Екатерине, но быстро сделавшего карьеру при её сыне главным образом благодаря принадлежности к секции мартинистов. Последнее время стал ярым мизантропом. Он каждый день обедал у князя Ивана, вёл себя вежливо и приветливо, а за спиной его собирал на него компромат и пылал злобой.
В своих докладах в Петербург Арсеньев, к примеру, писал, что владимирское губернское управление
Из дела о казённом лесе, которое никак не клеилось, Арсеньев стал «стряпать» общее дело, обвиняя в совершении беззакония всю губернскую администрацию. Только чудовищность и нелепость возводимых обвинений могла нейтрализовать усердие этого лжепатриота. Впрочем, министр Куракин отнёсся к Долгорукову вполне благосклонно и «лесное дело» несколько поправил в пользу губернатора, да и другие ответственные сотрудники министерства поняли, что «бешеный иллюминат» Арсеньев явно переходил границы всякого ревизорского рвения. Во время отпуска Иван Михайлович приехал в Петербург и удостоился десятиминутной аудиенции у императора Александра, а 25 августа 1808 года за «усердную службу и особенные труды» в управлении Владимирской губернией был пожалован в кавалеры ордена Святой Анны 1-го класса с лентой.
Саратовский губернатор А.М.Фадеев за свою бытность в губернаторском кресле перенёс множество ревизорских набегов. Об одном из них, ревизоре А.И.Середе, протеже министра Л.А.Перовского, адъютанте его брата Василия Алексеевича, оренбургского генерал-губернатора (1833—1842), Андрей Михайлович с философским терпением отозвался так:
Фадееву в 1844 году встретился и «настоящий» ревизор по фамилии Цеймерн, приехавший в губернию проверять судебные органы, и Андрей Михайлович с удовлетворением отметил это в своих воспоминаниях.
С ревизорами нужно было ладить. Астраханский губернатор И.С.Тимирязев (1834—1844), по мнению Фадеева, не сумел установить общий язык с ревизором князем Гагариным (вероятно потомком повешенного Петром Великим сибирского губернатора) и «загремел под фанфары».
Андрей Михайлович ошибался: всё обстояло значительно проще. Л.А.Перовский в это время проводил кампанию по удалению неугодных губернаторов, и Иван Семёнович стал одной из её первых жертв. Редактор записок Фадеева, некто Н.Ф., сообщает, что Перовский проводил чистку губернаторов не по деловому признаку – ему было совсем не важно, хорош или плох был тот или иной губернатор. Важно было расставить в провинции своих креатур! Проворовавшегося или не справившегося со своими обязанностями Перовский увольнял без всяких церемоний, а делового и честного администратора обкладывал со всех сторон своими людьми и устраивал настоящую травлю.