С этого времени Бисмарк начал выстраивать в Европе новую систему союзов с другими государствами, которая должна была прийти на смену обветшавшему Союзу трех императоров. В основу так называемой «второй системы Бисмарка» лег тайный союзный договор, который 7 октября 1879 г. заключили Германия и Австро-Венгрия. Этот договор носил оборонительный характер и был направлен не только против Франции, но и против России — с той только разницей, что Франция в тексте договора только подразумевалась, а Россия была названа как вероятный противник. В договоре прямо указывалось, что в случае нападения России на одну из договаривающихся сторон другая должна «выступить на помощь… со всею совокупностью военных сил». Явно опережая события, Германия и Австро-Венгрия приняли обязательство «не заключать мира иначе, как только сообща и по обоюдному согласию». В случае же нападения на одну из них какой-либо непоименованной державы другая сторона договора должна была соблюдать по отношению к союзнику благожелательный нейтралитет. Но если бы «нападающую державу» активно или хотя бы пассивно, «путем военных мероприятий», поддержала Россия, то немедленно в силу вступало обязательство о «полной военной взаимопомощи».
Хотя австро-германский союз противоречил Союзу трех императоров, Германия и Австро-Венгрия не спешили от него отказываться. Они нуждались в нем как в инструменте, с помощью которого можно предотвратить сближение России с другими государствами, прежде всего с Францией. Во многом благодаря усилиям Бисмарка Союз трех императоров был возобновлен. 6 (18) июня 1881 г. Германия, Россия и Австро-Венгрия подписали договор о взаимных гарантиях, согласно которому обязались соблюдать доброжелательный нейтралитет в случае войны одной из них с «четвертой великой державой». Они также договорились не допускать «каких-либо изменений в территориальном status quo европейской Турции» иначе, как «по взаимному их соглашению». Впрочем, согласно протоколу, приложенному к этому тайному договору, Австро-Венгрия оставила за собой право аннексировать две оккупированные провинции Османской империи (Боснию и Герцеговину) «в момент, который найдет для этого подходящим». Признали они и право Болгарии на воссоединение с Восточной Румелией, «если бы этот вопрос был выдвинут силою вещей». Но ее притязания на другие «соседние провинции, а именно Македонию», договаривающиеся стороны поддержать отказались, предложив болгарам взять все риски на себя. По истечении трехлетнего срока действия этого договора, в 1884 г., правительства Германии и Австро-Венгрии, руководствуясь теми же соображениями, договорились с Россией о его продлении еще на три года.
Дальнейшие события полностью подтвердили расчеты Бисмарка. Не успели высохнуть чернила под итоговым документом Берлинской конференции, как между Россией и Австро-Венгрией с новой силой разгорелось соперничество за влияние на молодые независимые государства Балканского полуострова. В 1879 г. Россия добилась избрания князем Болгарии своего ставленника Александра Баттенбергского, племянника супруги императора Александра II. Однако династические скрепы в отношениях между обоими государствами оказались недостаточно прочными. В мае 1881 г. князь Александр Баттенбергский, стремясь понравиться новому российскому императору Александру III, приостановил действие либеральной конституции, ограничивавшей его власть. Предполагалось, что переход к самодержавному правлению только укрепит связи Болгарии с Россией. Однако действия князя вызвали протест широких слоев болгарского общества. Разразился политический кризис, который привел к охлаждению русско-болгарских отношений.
Ослаблением позиций России на Балканах воспользовалась Австро-Венгрия. По отношению к балканским государствам она находилась в более выгодном географическом положении. Через ее территорию проходили основные транспортные пути, в том числе речные и железнодорожные, связывавшие Болгарию, Сербию и Румынию с другими европейскими государствами. Преимущество Австро-Венгрии заключалось еще в том, что она была богаче капиталами, чем Россия, а стало быть, представляла для слабых балканских государств, заинтересованных в развитии промышленности и торговли, больший интерес как экономический партнер.
Первой в лагерь соперников России перешла Сербия. 16 (28) июня 1881 г. она заключила с Австро-Венгрией союзный договор, по которому отказалась от притязаний не только на Боснию и Герцеговину, но и на Нови-Пазарский санджак (небольшую область Османской империи, имевшую для Сербии стратегическое значение, поскольку отделяла ее от Черногории), а также обязалась «без предварительного соглашения с Австро-Венгрией… ни обсуждать, ни заключать политических договоров с каким-либо другим правительством» и не допускать на свою территорию иностранных войск, «даже в виде добровольцев». При поддержке Австро-Венгрии в 1882 г. сербский князь Милан Обренович провозгласил себя королем.