Послав «Оле Якоб» в Японию, Рогге повернул «Атлантис» и двинулся на юго-восток. Офицеры тщательно изучали карты и морские лоции в поисках отдаленного острова, где корабль мог бы тайно набрать свежей пресной воды, устроить профилактический ремонт двигателей, а его люди смогли бы некоторое время отдохнуть друг от друга и от исполнения повседневных обязанностей. Рогге отклонил предложение идти на Амстердам (Французский остров Амстердам находится в южной части Индийского океана, практически на середине линии, соединяющей Фримантл и мыс Доброй Надежды - прим. ред.) или острова Сен-Поль, рассудив, что британцы с большой вероятностью могут зайти на эти острова. Было еще предложение отправиться на остров Принс-Эдуард, но его тоже отвергли, потому что в этом районе почти всегда слишком туманно и ветрено. После тщательного изучения карты Рогге выбрал группу островов Кергелен.
Острова Кергелен располагаются в районе 49 градусов 20 минут южной широты и 70 градусов 20 минут восточной долготы, примерно на середине пути между Антарктикой, Австралией и Африкой — очень далеко от оживленных судоходных трасс Эти пустынные острова ранее были прибежищем для китобоев и морских охотников, но уже много лет назад их визиты сюда прекратились. У Рогге имелось превосходное описание этого района. Немецкий корабль «Газелле» посетил эти острова с научными целями, как раз перед тем как разразилась война.
Кроме того, у Рогге также была специальная морская карта, захваченная на «Тедди», на которой были обозначены морские пути для торговых судов союзников. Из этой карты следовало, что Кергелены являются крайне изолированным местом, и поэтому подходили для «Атлантиса» как минимум по одному из критериев. На Кергеленах также имелась свежая вода, в которой «Атлантис» отчаянно нуждался. А еще там было множество проливов, каналов, бухт и фиордов, где корабль мог весьма успешно спрятаться. Словом, «Атлантис» взял курс на юг и скоро достиг безопасных островов, лежавших в центре бурного и неприветливого южного океана.
Плавание на юг было не слишком богато событиями, пока однажды, 1 декабря 1940, года радист не принес капитану текст двух сообщений. Первое из них информировало рейдер о благополучном прибытии «Дурмитора» в Сомали. Счастливая новость дала людям свежую тему для бесед. Вторая новость была сообщением от «Судна № 33» — рейдера «Пингвин», направленного SKL для крейсерства в Индийском океане. «Пингвин» информировал высшее командование о том, что собирается послать в Германию «Шторштадт» — захваченный им танкер с четырьмя тысячами пленных и десятью тысячами тонн дизельного топлива!
Рогге чувствовал, что его потребность в топливе перевешивает риск от посылки радиограммы. Он вышел в эфир и направил Штабу руководства войной на море запрос о том, чтобы танкер передал часть топлива на «Атлантис», прежде чем плыть в Германию. Берлин ответил очень быстро, приказав «Атлантису» встретиться с «Пингвином» и «Шторштадтом» в условной точке «Тулип». Рогге немедленно повернул свой корабль и помчался на северо-запад по направлению к точке рандеву на 34 градусах 47 минутах южной широты и 59 градусах 55 минутах восточной долготы.
«Атлантис» прибыл в условленное место в воскресенье утром 8 декабря. Вскоре наблюдатель заметил другое большое судно, вырисовывающееся на горизонте. Два корабля приблизились друг к другу, и их сигнальщики обменялись предварительно согласованными флажными сигналами. Капитан «Пингвина» Крюдер расставил своих людей, одетых в белую летнюю форму, в строгом порядке вдоль палуб и лееров, но как только два корабля оказались рядом, четкий военный строй нарушился и превратился в шумную толпу людей, размахивающих руками и выкрикивающих приветствия. Два рейдера остановились очень близко друг к другу, капитан Крюдер сел на маленький катер, чтобы отправиться к «Атлантису».
Вскоре команды «Пингвина» и «Атлантиса» также сновали туда и сюда между двумя кораблями, радостно приветствуя товарищей. За триста с лишним дней плавания в первый раз на борт «Атлантиса» вступили немцы, не принадлежащие к команде корабля. Экипажи принесли друг к другу лучшее угощение и пиво, чтобы разделить их с боевыми товарищами, они пели песни, рассказывали истории и наслаждались зрелищем совершенно новых лиц.