Поскольку суды по религиозным преступлениям требовали специальных знаний, которые часто отсутствовали у светских судей, к следствию привлекались местные епископы и богословы. «Средневековая инквизиция появилась в 1184 году, когда Папа Луций III разослал епископам Европы список ересей и повелел принимать активное участие в определении того, действительно ли обвиняемые в ереси виновны. Вместо того чтобы полагаться на мирские суды, местных сеньоров или просто на толпу, епископы должны были обеспечить то, чтобы обвиняемые в ереси в их епархиях бывали допрошены квалифицированными церковными деятелями с использованием римского доказательственного права» (Томас Ф. Мэдден). Фактически церковь участвовала в этих процессах в качестве экспертной инстанции, которая должна была установить или опровергнуть сам факт преступления. Люди, возглавлявшие инквизиционные трибуналы, были подготовленными богословами и, выражаясь современным языком, профессиональными юристами и судебными бюрократами. Почти всегда, как показывают документы инквизиционных трибуналов, они очень скептично относились к массовым предрассудкам и расхожим суевериям. Процедура следствия, применявшаяся инквизиционным трибуналом, была в целом гораздо гуманнее и мягче, чем процедуры светского судопроизводства того времени.
По прибытии трибунала на место его работы инквизиторы выступали перед духовенством и жителями с проповедями, объяснявшими опасность ереси. Объявлялся «период милосердия», в течение которого любой виновный мог прийти и тайно покаяться в преступлении перед трибуналом — в этом случае на него накладывалось обычное церковное покаяние за грех, и он не подвергался уголовному преследованию. Инквизиционные процедуры были подробно описаны в специальных руководствах, которым обычно тщательно следовали. Эти руководства мало напоминают известный «Молот ведьм» (о нем позже) — это были скрупулезные юридические инструкции, созданные профессиональными юристами. Сомнительные показания не принимались в расчет, обвиняемый имел право на защиту, он мог представить трибуналу список своих врагов, показания которых после этого не использовались в процессе. Никто не мог быть осужден без доказательств. Многие дела прекращались за недостаточностью улик. Пытки использовались лишь в незначительном числе случаев и дозволялись лишь в ситуациях, когда налицо были убедительные доказательства того, что обвиняемый лжет. В ряде случаев (например, в исследованиях, проведенных известным ученым Карло Гинзбургом в итальянской местности Флиулия) вообще нет никаких указаний на использование пыток. Дело редко кончалось обвинительным приговором, но даже из этого небольшого числа приговоров лишь около 2 % вели к смертной казни, когда она предусматривалась государственным законодательством за установленные судом преступления обвиняемого. Нередки случаи, когда обычные преступники намеренно богохульствовали, чтобы предстать перед судом инквизиции, поскольку она гуманнее относилась к подследственным, чем государственные дознаватели. Преступник всегда имел возможность принести покаяние, исповедать свое преступление и, получив сравнительно мягкое наказание, избежать предусмотренной законом суровой кары — в то время как светские законы не предусматривали подобной возможности.
Однако тот факт, что инквизиционные процессы все же находились в ведении местных властей, часто приводил к злоупотреблениям, когда невиновные в силу политических причин осуждались, а виновные, напротив, оправдывались. Следуя наиболее прогрессивным для того времени юридическим представлениям, Церковь в XIII веке учредила инквизиционные трибуналы, подотчетные не местным епископам, а Риму. Это привело к повышению тщательности и аккуратности инквизиционных процессов. Фактически нет исторических доказательств тех искаженных образов жестоких и страшных инквизиторов, которые предстают перед нами во многих фильмах и художественных произведениях (таких как «Имя Розы» Умберто Эко). Светские правители нередко обвиняли инквизиторов в том, что те слишком мягко относились к обвиняемым и слишком гуманно вели следствие. В позднее Средневековье короли, пользуясь поддержкой местных ученых, стали захватывать в свои руки инквизиционные процессы, выводя их из-под власти папы (такое произошло, к примеру, во Франции). Собственно церковная римская инквизиция утрачивала свое влияние и почти потеряла его после 1500 года.
На этой волне захвата светской властью инквизиционной юрисдикции возникла и испанская инквизиция, которую обычно считают самой жестокой и которую следует отличать от церковной епископской и папской средневековой инквизиции. Историкам известно, что с XVI века в государствах — врагах Испании намеренно создавались тексты, призванные опорочить ее, и расхожее мнение об ужасах испанской инквизиции — это отзвук одной из частей этой «черной легенды». Факты сильно отличаются от мифов.