Очень скоро Международное товарищество рабочих дало трещину. Большинство секций поддерживало Маркса, меньшинство — Бакунина. Романские Италия и Испания, франкоговорящая часть Швейцарии (Юрская федерация), а также Бельгия и Голландия симпатизировали «русскому смутьяну», Англия, Германия, Франция (с оговорками), Скандинавские и ряд других европейских стран, а также США — приняли сторону Маркса. И та и другая сторона прекрасно понимали, что раскол обычно предшествует деградации и смерти, поэтому во что бы то ни стало пытались сохранить единство. Но это оказалось возможным лишь после изгнания из своих рядов конкурентов. Лучше это получилось у Маркса и Энгельса, сумевших противопоставить романской эмоциональности, импульсивности и несобранности трезвый немецкий расчет, организованность и дисциплину.
Первая проба сил произошла в сентябре 1869 года на Четвертом (Базельском) конгрессе Интернационала и закончилась вничью. Бакунин выступал здесь по вопросу о праве наследования (один из пунктов программы «Альянса») и был поддержан многими делегатами. Перед конгрессом марксисты попытались дискредитировать непокорного русского с помощью давно протухшего средства — обвинения в том, что он, дескать, является агентом царского правительства. Такую информацию поместила среди прочих и берлинская газета «Volksstaat», издаваемая сподвижником Маркса Вильгельмом Либкнехтом (1826–1900). Бакунин апеллировал к Базельскому конгрессу и одержал полную победу. Состоялся товарищеский суд, который обвинил Либкнехта в «преступном легкомыслии» и потребовал публичного извинения. Тот признал, что был введен в заблуждение, и протянул оклеветанному Бакунину руку для примирения. Михаил охотно пошел на мировую и, дабы доказать, что инцидент исчерпан, поджег перед всеми постановление товарищеского суда и прикурил от него папиросу.
К следующему, Пятому конгрессу, проходившему в Гааге в сентябре 1872 года, марксисты мобилизовали все силы, чтобы исключить Бакунина из Интернационала. И они добились своего главным образом путем предварительного организационного манипулирования: некоторые их делегаты получили дополнительные мандаты; например, Маркс имел три, а Энгельс два мандата (то есть голоса). Кроме того, было сделано все, чтобы в конгрессе не участвовали представители Итальянской федерации, к тому времени порвавшей с Генеральным советом. Утверждение мандатов заняло три дня из четырех, отведенных на работу конгресса, и лишь в последний день делегаты смогли перейти к обсуждению повестки дня.
На конгрессе работала следственная комиссия из пяти человек, которую возглавлял друг Маркса и Энгельса Теодор Куно (1846–1934). Она рассмотрела представленные документы и большинством голосов (три против двух) вынесла решение об исключении Бакунина из Интернационала. Против проголосовали испанские делегаты, причем дело не ограничилось дебатами. Один из испанцев достал револьвер, направил его на председателя комиссии и с криком: «Такой человек заслуживает, чтобы его пристрелили!» — чуть было не использовал оружие по назначению, но был вовремя остановлен другими членами комиссии. После того как конгресс утвердил решение комиссии, ни один русский представитель не счел возможным остаться на его заседании.
Исключение Бакунина больше походило на расправу. В докладе комиссии по данному вопросу черным по белому написано, что она руководствовалась