Тайная канцелярия как учреждение появилась на свет в Петропавловской крепости и была типичной временной розыскной комиссией. Толстой быстро составил штат учреждения из 6–9 подьячих разных приказов и канцелярий. Им обещали, что работа их в канцелярии будет временной, до «скончания дела» Алексея. Помощниками Толстого, которых позже стали называть «асессорами», стали старшие гвардейские офицеры А. И. Ушаков, Г. Г. Скорняков-Писарев и И. И. Бутурлин.
После смерти царевича Алексея 26 июня 1718 года Тайная канцелярия не была распущена. Получив важный донос, Петр поручил очередное дело Толстому. 8 августа 1718 года с борта корабля, находившегося при мысе Гангут, царь написал ему: «Мой господин! Понеже явились в краже магазейнов ниже именованные, того ради, сыскав их, возьми за караул». Ниже указывался список предполагаемых воров. Так, вероятно по чьему-то доносу, началось Ревельское адмиралтейское дело, которое закончилось суровыми приговорами только через несколько лет. Подобным же образом возникали и другие дела.
С образованием Тайной канцелярии наметилось географическое распределение дел между ею и Преображенским приказом: колодников по Петербургу и окрестностям велели присылать в Тайную, а из Москвы и центральных губерний России – в Преображенский приказ, который стал называться канцелярией. В 1718 году в Москве А. И. Ушаков создал, по заданию Петра, Контору Тайной канцелярии, которая разместилась на Потешном дворе в Преображенском. Осуществляя реформу управления, царь в 1724 году решил передать политический сыск Сенату, однако реорганизация сыска так и не состоялась из‐за его смерти.
После того как умер Петр Великий и на престоле оказалась императрица Екатерина I, Тайная канцелярия продолжила работать. Весьма крупным стало дело монаха Самуила Выморокова. 30 июля 1725 года А. И. Ушаков вкратце пересказал дело императрице, после чего государыня одобрила проект приговора. Тем же летом Екатерина слушала доклады по делу Феодосия Яновского, в декабре 1726 года по своему ведомству знакомил ее с делами Иван Ромодановский. Он же составил проект приговора по делу Родышевского. И все же 28 мая 1726 года в истории Тайной канцелярии была поставлена точка. В тот день появился указ Екатерины I на имя Толстого, где сказано, что Тайная канцелярия «учинена была на время для случившихся тогда чрезвычайных тайных розыскных дел и, хотя тому подобные дела и ныне случаются, однако не так важные и больше бывают такие дела у… князя Ромодановского». Поэтому канцелярию было предписано ликвидировать.
В феврале 1726 года «при боку» Екатерины I возник Верховный тайный совет, составленный из «первейших» вельмож того времени. Сразу же он стал «стягивать» к себе власть, в том числе и в делах политического сыска. Верховники выполняли роль одновременно следователей и судей: на своих заседаниях они выслушивали записи допросов, экстракты по делам сыска, выносили приговоры, принимали доклады И. Ф. Ромодановского и А. И. Ушакова. После смерти Екатерины I 7 мая 1727 года и с восшествием на престол 12-летнего Петра II некоторое время сыскными делами ведал фактический регент А. Д. Меншиков. Он распоряжался, как расследовать начатое в апреле 1727 года дело П. А. Толстого и его сообщников, а также княгини А. П. Волконской, которую светлейший заподозрил в интригах против себя. После падения Меншикова политическим сыском стал вновь ведать Верховный тайный совет.
За исключением одного случая, когда в ноябре 1727 года нужно было дать распоряжение о расследовании дела Меншикова, малолетний царь Петр II делами сыска не занимался. Судя по делу Волконской, основная тяжесть работы лежала на А. И. Остермане и князе А. Г. Долгоруком, отце фаворита царя Ивана Долгорукого. Текущие, «маловажные» дела после ликвидации Преображенского приказа в 1729 году сосредоточили в Сенате. Однако вскоре и сам Верховный тайный совет прекратил существование.