Строительная активность, однако, сопровождалась такими злоупотреблениями, которые невозможно было скрыть ни от общества, ни от вышестоящих властей. Например, ввиду ветхости дома Дворянского собрания в 1824 году было решено построить новое здание, для чего с каждой крепостной души предполагалось дополнительно собрать по 35 копеек, но вместо строительства нового здания был куплен «старый особняк у купцов Дурыгиных, владевших в Костроме несколькими каменными домами…», и вскоре в III Отделение Собственной Его Императорского Величества канцелярии поступила записка директора местной гимназии Ю. Н. Бартенева, где, в частности, отмечалось: «Для построения казенных зданий сметы делаются чрезвычайно увеличенные… На построение домов для спокойствия проезжающих на станциях в местах, изобилующих материалами, хорошими плотниками, каменщиками и печниками, издержано на каждый таковой дом от 20 ООО до 23 ООО, тогда как в существе он не стоит более 7 или 8 тысяч рублей, а посему около 2/3 столь значительного капитала похищается». В инструкции сенатору Е. А. Дурасову, ревизовавшему Костромскую губернию в 1827 году, начальник III Отделения императорской канцелярии А. X. Бенкендорф соответственно указал: «Во время объезда губернии следует обратить внимание на казенные каменные строения; как-то присутственные места, тюремные замки и гостиницы по большим дорогам, которые недавно выстроены, но жить в оных нельзя, для чего надобно истребовать смету с употребленных материалов, которая покажет, что кирпич покупается на те строения не менее 20 руб., тогда как по ценам оной продается не более 12 рублей».
Доходы чиновников умножались к тому же самым беззастенчивым взяточничеством. Взять хотя бы запись из расходной книги 1818 года бурмистра села Парского Юрьевецкого уезда: «Губернатору господину Баумгартену внесено рому лучшаго 6 бутылей — 42 р.; сахару и чаю на 32 р. 30 к., да людям его докладных роздано 2 р. 40 к. К лекарю ходили для показания рекрут деньгами 54 р. 80 к., людям его докладного роздано 1 р. 26 к. Советнику Карцеву для благосклонности 54 р. 80 к., людям его докладнаго 1 р. Подполковнику Кашнеру подарено 55 р. 60 к., людям его докладнаго 2 р. 30 к. Прокурору Протасьеву 25 р., да человеку его докладнаго 40 к. Столоначальникам за помету регистров и справок для благосклонности деньгами дано по прежнему 40 р. Повытчику с приказными за письмоводство 30 р., да на угощение им издержано 4 р. 65 к. При ставке рекрут в присутствии во время приема жандармам Гусеву и Сорову, которые при деле, дано на случай принятия малорослаго Павла и для прочих деньгами 8 р. 40 к.»
По словам Бартенева, «…места голов, старост, сотских и прочих продаются порочнейшим поселянам… Сотские и прочие облагаются от исправников и стряпчих налогом таким же образом, как исправники облагаются губернатором и стряпчие прокурором… Определенные таким образом чиновники платимые ими за свои места деньги высасывают из народа разными поборами, притеснениями и нарушением правосудия. При заплате государственных податей сверх того количества, которое входит в казну, взимается с каждой ревизской души в обе половины по 20 к. и более, с каждого пашпорта сверх казенной пошлины берется по 2 или 3 р.; за свидетельство на торговлю сверх казенных пошлин платится по 100 р. и по 200 р. смотря по капиталу».
И, как следствие: «В Костромской губернии с 1807 г. и поныне, т. е. во все время управления оною бывшим губернатором Пасынковым и нынешним Баумгартеном, многие достойные дворяне, по причинам подобным вышеозначенным, отклонялись от занятия мест даже самых почтеннейших, большею частию не приезжают и на выборы. Таким образом, Дворянское собрание наполняется наиболее такими только людьми, которые привлечены туда из видов корысти… В Костроме недавно было два случая во время выборов, где можно видеть власти губернатора и заговор выборов; выбраны были в уездный город Ветлугу два кандидата в исправники: Шишкин, который безвыходно под судом за лихоимство находится, и другой Рубановский; Рубановскому было положено 20 голосов, а Шишкину 18 и представлены оба на утверждение. Губернатор утвердил Шишкина, нашел какие-то причины не утвердить Рубановского».
Прикрытие губернатору обеспечивал ранее упомянутый генерал Бортов: «Полицмейстер ему племянник: с губернатором он в связях и во многих случаях помогал ему в Петербурге». Пользовался губернатор и поддержкой члена Государственного Совета В. С. Ланского, что позволяло ему и его чиновникам осуществлять самые дерзкие операции. Так, губернатор, вице-губернатор С. М. Ушаков и управляющий винной экспедицией П. Н. Колюпанов были замешаны в махинациях с кизлярской водкой. По сообщению начальника 3-го отделения 2-го округа корпуса жандармов полковника С. В. Перфильева, для сокрытия злоупотреблений исправников губернатор не брезговал даже подменой донесений и рапортов, поступавших на его имя.