И Архаров решил «навести порядок», хотя никакого письменного указа на сей счёт не последовало. Уже 7 ноября деятельные полицмейстеры начали срывать с головы прохожих круглые шляпы. В Петербурге имело место несколько подобных случаев, хотя точное число их и не известно. Столичная же молва рисовала ужасающую картину: прохожих на улицах арестовывали и чуть ли не раздевали донага только за то, что они были одеты несоответствующим образом, «Архаровцы» начали творить своё чёрное дело: первое «обвинение» Императору Павлу уже было добыто. Потом было много других мелочных придирок и полицейских «регламентаций», ставших поводами для насмешек и издевательств над Императором в аристократической среде.
Павел Петрович же о подобном безумном рвении долго не подозревал. Ему не сообщали подробностей. Одни приближенные боялись вмешиваться в отношения между Императором и его «любимцем»; другие же с наслаждением наблюдали за дискредитацией образа Монарха. Архаров был низвергнут со своего служебного пьедестала совместными усилиями Императрицы Марии Фёдоровны и «царского друга» Е. И. Нелидовой. Поводом послужила очередная «проделка» ретивого генерал-губернатора.
Когда в марте 1797 года Императорская Семья и Двор отбыли из Петербурга на Коронацию в Москву, то временно исполнять обязанности генерал-губернатора столицы было доверено генерал-поручику Ф. Ф. Бухсгевдену (1750–1811)[92]. Архаров вернулся в Петербург раньше всех и решил подготовить «подарок» Государю, приказав всем домовладельцам выкрасить заборы и ворота в цвета постовых будок: полосами чёрной, белой, оранжевой красок. Но тут не выдержала Императрица, до которой дошла весть о подобном безумном распоряжении. 20 мая 1797 года она писала Е. И. Нелидовой.
«Я узнала о новой подлости Архарова. Говорят, что он принуждает всех окрасить двери своих домов ромбами в чёрные и жёлтые цвета, и что хозяин одного из лучших домов, где двери украшены резной работой, также принуждён обезобразить их таким образом. Архаров простирает свою подлость так далеко, что приказал объявить хозяевам, которые отказываются исполнить его требование, что он пришлет к ним маляров, и что они разрисуют им двери за их счёт. Всё это падает на нашего доброго Императора, который, несомненно, и не думал отдавать подобного приказания, существующего, как я знаю, по отношению к заборам, мостам и солдатским будкам, но отнюдь не для частных домов. Архаров — негодяй».
После Коронации Павел I несколько недель совершал поездку по России и вернулся в Петербурге июне. Тут и случился акт возмездия и во здания: Павел Петрович уволил Архарова от должности и изгнал из Петербурга, а Ф. Ф. Буксгевдена наградил графским титулом.
С послекоронационной поездкой Императора по России связан один эпизод, который показал, насколько Павел Петрович был непреклонен и неумолим в тех случаях, когда речь шла о нарушении закона. Маршрут поездки охватывал обширные районы и пролегал через Смоленск, Оршу, Могилёв, Минск, Вильно, Гродно, Ковно, Митаву, Ригу и Нарву. В общем поездка прошла гладко, Император был доволен. Единственный инцидент случился во время проезда по Смоленской губернии.
Проезжая через слободу Пневу, Павел Петрович обратил внимание на вновь построенный мост и на толпу крестьян, занятых строительными работами, хотя он предписал чиновникам на местах не творить никаких работ на пути его следования, чтобы не менять исконной картины. Монарх вышел из кареты и побеседовал с крестьянами, которые открыли ему неприглядные вещи. Их помещик Храповицкий послал их на строительство моста, где они трудились три недели, денно и нощно, да и вообще их барин притесняет их, не даёт жизни.
На Павла Петровича эти рассказы подействовали угнетающе. Мало того что барин не блюдёт главную свою обязанность: печься о крестьянах, которые даны ему не для издевательств, а для управления, так ещё и волю царскую ни во что не ставит. Нарушил несколько законов, в том числе и об ограничении отработок тремя днями. Не может никто больше по своему усмотрению крестьян использовать, тем более теперь, в мае, в страдную пору, когда они должны хлебопашеством заниматься! Павел распорядился: выплатить крестьянам 2500 рублей, распустить их по домам и расследовать: кто именно приказал провести указанные работы. На этот счет смоленскому военному губернатору генералу М. М. Философову 5 мая 1797 года было послано особое предписание…