Вся страна была разделена сначала на пять, затем на восемь жандармских округов, которые, в свою очередь, состояли из отделений во главе с жандармскими штаб-офицерами. Каждое из них курировало 2–3 губернии.
Вряд ли всесильный французский министр полиции Фуше мог бы гордиться своими российскими подражателями. По утверждению историков, отделение с самого начала демонстрировало «низкий уровень агентов… Их донесения не выходили из пределов данных наружного наблюдения или сообщений „о толках и слухах“. Никакой „внутренней агентуры“, дававшей впоследствии столько ценных для охранки сведений, не существовало. Не существовало и настоящих „секретных сотрудников“. Данные „наружного наблюдения“, „толки и слухи“, перлюстрация писем, материалы, получаемые при обысках, и „откровенные показания“ раскаивавшегося или доведенного каким-нибудь способом до „раскаяния“ допрашиваемого, вот чем располагало Третье отделение…».
Справочного аппарата вначале также не существовало. Для ликвидации этого пробела были предприняты гигантские усилия. Только в 1828 году Бенкендорф докладывал: «За все три года своего существования надзор отмечал на своих карточках всех лиц, в том или ином отношении выдвигавшихся из толпы. Так называемые либералы, приверженцы, а также и апостолы русской конституции в большинстве случаев занесены в списки надзора. За их действиями, суждениями и связями установлено тщательное наблюдение».
По мнению историка Александра Преснякова, идеальным требованием Николая «было, чтобы… императору сообщалось все сколько-нибудь значительное, с полицейской точки зрения, что происходило во всех углах империи. Средствами постоянного притока сведений были донесения жандармских округов и общей администрации. Весь этот пестрый материал докладывался Николаю и вызывал большое его внимание, а часто энергичное вмешательство. „Высочайшие" резолюции то и дело требовали дополнительных сведений по тому или иному происшествию». Более того, император даже сам не брезговал заниматься распределением административно ссыльных – в Вятку, Сольвычегодск, Каргополь, а для «рецидивистов» – Соловки. Он же решал направить провинившихся в солдаты, на Кавказ или сразу в сумасшедший дом «для исправления в уме». Николай разрешил писать доносы лично себе и не уставал разбирать вороха посланий «слова и дела» государева, назначая денежные награды за наиболее ценные из них. Однако далеко не всему писаному верил. Быстро разобрался, что возникший наплыв писем был связан не с вольнодумством, а со сведением мелких счетов между обывателями. Подобные писатели «за явно вздорные и шантажные доносы, за назойливость и сутяжничество» рисковали угодить под арест или в ссылку, а то и в тот же самый сумасшедший дом.
Сам Бенкендорф полагал, что «одна лишь служба, и служба долговременная, дает нам право и возможность судить о делах государственных. Опасно для правительства, чтобы подданные рассуждали о них».
О легендарном шефе жандармов ходило множество анекдотов. Главным образом касавшихся его рассеянности (иногда не мог вспомнить свое имя без визитки) и невнимательности. К примеру, князь Меншиков повесил у себя в кабинете распятие, а по обе стороны поместил портреты Аракчеева и Бенкендорфа. Когда заходившие к Меншикову друзья спрашивали: «Что все это значит?» – он, смеясь, отвечал: «Христос, распятый между двумя разбойниками».
Герцен так писал о нем: «Наружность шефа жандармов не имела в себе ничего дурного; вид его был довольно общий остзейским дворянам и вообще немецкой аристократии. Лицо его было измято, устало, он имел обманчиво добрый взгляд, который часто принадлежит людям уклончивым и апатическим. Может, Бенкендорф и не сделал всего зла, которое мог сделать, будучи начальником этой страшной полиции, стоящей вне закона и над законом, имевшей: право мешаться во все, – я готов этому верить, особенно вспоминая пресное выражение его лица, – но и добра он не сделал, на это у него не доставало энергии, воли, сердца».
Лондонский затворник был явно несправедлив, ослепленный собственными же филиппиками против ненавистного российского самодержавия. Именно Третьему отделению принадлежит выдвинутая им в 1838 году инициатива проведения железной дороги между Москвой и Петербургом. Как раз жандармы предостерегали императора от всеобщего ропота по поводу рекрутских наборов, в 1841 году отмечали необходимость большей заботы о народном здравии, в 1842 году сообщали о всеобщем недовольстве высоким таможенным тарифом; выступали за смягчение дискриминации евреев в империи; неоднократно обращали внимание на вредное для народных нравственности и хозяйства влияние откупов.