24 апреля (6 мая) 1873 г. Россия и Германия заключили оборонительный союзный договор, в соответствии с которым брали обязательство предоставить друг другу «помощь в виде армии из 200 тыс. человек боеспособного войска» в случае нападения какого-либо европейского государства. Спустя месяц, 25 мая (6 июня), стараниями Бисмарка конвенцию заключили Россия и Австро-Венгрия. Они договорились не придавать значения разногласиям между собой «по частным вопросам», а также «силою поддержать, если нужно, европейский мир при всех потрясениях, откуда бы таковые не проистекали». 11 (23) октября 1873 г. к этой конвенции присоединилась Германия.
Так возник Союз трех императоров — группировка государств, связанных между собой обязательствами о взаимных консультациях по международным вопросам и о взаимопомощи в случае войны. Он воплощал план Германии, часто называемый также «системой Бисмарка», направленный на предотвращение сближения России и Австро-Венгрии с Францией. Но он принес пользу и другим его участникам. Россия и Австро-Венгрия не только обзавелись союзником, но и получили в свои руки рычаг влияния на Германию, могущество которой их беспокоило. Такая предусмотрительность оказалась совсем не лишней во время так называемой военной тревоги 1875 г., связанной с резкими высказываниями Бисмарка в адрес Франции. Отвести угрозу новой франко-германской войны удалось после заявления германского правительства об отсутствии у него агрессивных намерений, с которым его убедила выступить Россия. Кроме того, союз с Германией позволил России и Австро-Венгрии сосредоточить внимание на других актуальных для них вопросах своей политики, таких, как проведение внутренних реформ, положение на Балканах и (в случае России) усилении экспансии в Центральной Азии.
Хотя Союз трех императоров неоднократно возобновлялся и просуществовал до 1887 г., он оказался далеко не самым удачным творением Бисмарка. Его подрывали изнутри противоречия между Россией и Австро-Венгрией на Балканах.
Добившись в 1871 г. отмены «нейтрализации» Черного моря, Россия стремилась восстановить свое влияние и на Балканском полуострове. Она хотела, во-первых, облегчить участь христианских подданных турецкого султана, в том числе славян — болгар, сербов и др., и, во-вторых, установить контроль над Черноморскими проливами, имевшими для России важное военное и экономическое значение. Австро-Венгрия преследовала прямо противоположные цели. Она боялась перемен на Балканах, в особенности же отделения от Османской империи балканских народов и образования ими независимых государств. Правительство Австро-Венгрии опасалось, что это побудило бы различные народы дуалистической монархии еще решительнее добиваться удовлетворения своих национальных требований.
Резкому обострению русско-австрийских противоречий способствовал небывалый в истории подъем освободительного движения народов Балканского полуострова против османского господства. В 1875 г. восстало население Боснии и Герцеговины, одной из провинций Османской империи, населенной католиками, православными и мусульманами. В апреле 1876 г. взялись за оружие болгары. Поддержку повстанцам оказали Сербия и Черногория, самостоятельные к тому времени государства, остававшиеся лишь в номинальной зависимости от султана. Они объявили войну Османской империи. Но османские войска подавили восстания в Боснии и Болгарии, причем с жестокостью, которая возмутила общественное мнение и правительства европейских государств. Армии Сербии и Черногории также потерпели поражение.
Россия высказалась за срочное вмешательство держав в конфликт на Балканах во избежание дальнейшего кровопролития и насилий османских властей над беззащитными людьми. В мае 1876 г. по инициативе Горчакова в Берлине состоялась его встреча с коллегами из Германии и Австро-Венгрии Бисмарком и Д. Андраши. 30 апреля (12 мая) 1876 г. три державы выступили с меморандумом, который предлагал властям Османской империи проведение реформ под контролем держав: «Консулы или делегаты держав осуществляют свое наблюдение за применением реформ». Однако совместного выступления держав с целью давления на турецкое правительство организовать не удалось. Франция и Италия поддержали Берлинский меморандум, но Великобритания выступила против предложенных в нем мер на том основании, что они якобы подрывают престиж султана.