Не будучи по натуре жестоким человеком, Дзержинский, как и Ленин, буквально кипел от идеологической ненависти по отношению к классу, из которого он сам вышел. Он говорил своей жене, что воспитал себя так, чтобы «без всякой жалости» защищать революцию. Один из его ближайших соратников, Мартин Янович Лацис писал в газете ЧК «Красный террор»: «Мы не ведем войны против отдельных людей, мы уничтожаем буржуазию как класс. Во время расследования не ищите свидетельств, указывающих на то, что подсудимый делом или словом выступал против Советской власти. Первый вопрос, который вы должны задать: к какому классу он относится, каково его происхождение, каково его образование или профессия. Ответы на эти вопросы определят судьбу обвиняемого. В этом состоит значение и смысл красного террора.»
В то время как Дзержинский и его помощники прибегали к красному террору только как к объективно необходимому средству классовой борьбы, некоторые из простых членов ЧК, особенно на местах, наслаждались властью жестокости, не вдаваясь в высокие идеологические рассуждения. Яков Христофорович Петере, один из первых и наиболее выдающихся помощников Дзержинского, позднее признавал, что «многие нечестные элементы» пытались проникнуть в ЧК. Однако он не считал нужным добавить, что многим из них это удавалось. По жестокости ЧК можно сравнить со сталинским НКВД, хотя масштабы расправ были гораздо меньше.
Вплоть до лета 1918 года чинимый ЧК террор в какой-то мере смягчался деятельностью левых эсеров, на помощь которых большевики полагались на начальном этапе. В январе 1918 года, несмотря на возражения со стороны Ленина и Дзержинского, представители левых эсеров в Совнаркоме настояли на том, чтобы их партия была представлена в ЧК. Один из четырех левых эсеров, назначенных членами коллегии ЧК, Вячеслав Алексеевич Александрович, стал заместителем Дзержинского. В марте 1918 года после подписания мира с Германией в Брест-Литовске в знак протеста левые эсеры вышли из Совнаркома. Партия большевиков изменила свое название на Коммунистическую. С тех пор в состав Совнаркома входили исключительно коммунисты, а правительство большевиков переехало в новую столицу — из Петрограда в Москву. Несмотря на то, что левые эсеры вышли из правительства, они все еще оставались в составе ЧК. Дело в том, что, по утверждению самих левых эсеров, Дзержинский просил их остаться, убеждая их лидера Марию Спиридонову, что без их поддержки более не сможет «держать в узде жаждущих крови чекистов». Пока левые эсеры оставались в составе ЧК, за политические преступления не расстреливали. Дзержинский безгранично доверял своему заместителю левому эсеру Александровичу. Переехав в Москву, он передал ему всю полноту власти по решению каждодневных административных вопросов, а сам сконцентрировал свои силы на оперативной работе.
Штаб ЧК находился в Москве, на улице Большая Лубянка, в доме номер 11, который ранее занимала страховая компания «Якорь» и лондонская фирма «Ллойд» (позднее ЧК переехала в дом номер 2, в котором находилась российская страховая компания «Россия»). Теперь главное здание КГБ находится на улице, носящей имя Дзержинского. Те, кого Дзержинский называл «жаждущими крови» чекистами, в скором времени оказались и в Москве. Одной из первых жертв чекистского террора в Москве был известный цирковой клоун Бим-Бом, который часто позволял себе смеяться над коммунистами. Как и в КГБ, в ЧК плохо понимали такой юмор и считали его идеологической провокацией. Когда во время представления к Бим-Бому подошли чекисты с каменными лицами, зрители подумали, что это лишь часть общего представления, однако их смех вскоре сменился на панику, когда они услышали выстрелы, — чекисты открыли огонь по Бим-Бому, который пытался бежать.