Хотя кампания в Долине была военным чудом, она не принесла соответствующей победы на полуострове, где генерал Джонстон постоянно предупреждал Ли, что хочет оставить Йорктаун и перебросить свои силы ближе к Ричмонду. Это был, пожалуй, самый серьезный кризис Конфедерации на сегодняшний день - Джонстон был так же убежден, что Йорктаун не удержать, как Макклеллан - что его не повернуть, и вернулся к своей прежней идее, отвергнутой Ли и президентом Дэвисом, - сосредоточить все силы Конфедерации для наступления через Потомак и на север, даже рискуя оставить Ричмонд практически беззащитным. Ли понимал доводы Джонстона. Потомакская армия стояла лагерем на нижнем полуострове, а Макдауэлл и Бэнкс были заняты Стоунволлом Джексоном. Если Джонстон сможет достаточно быстро перебросить свою армию, он сможет пройти на север между двумя армиями Союза. Это был смелый замысел, но он рисковал потерять столицу и бросить большие запасы боеприпасов и снаряжения в Норфолке. Ли приложил все усилия, чтобы замедлить Джонстона, но Джонстон сорвал эти попытки, просто не сообщив Ли о своих передвижениях. Хотя Ли не упоминал об этом в своих посланиях Джонстону, оставшихся без ответа, он, конечно, знал, что отступление вниз по полуострову, если Макклеллан будет преследовать Джонстона, как он, несомненно, должен был сделать, вскоре приведет к тому, что плантация Уайтхаус, где жили его жена Мэри, дочери и внук, окажется в руках федералов. Он предупредил Мэри об этом еще 4 апреля и добавил, что если она попадет под наступление федералов, последствия будут "крайне досадными и постыдными". Характерная для Ли формулировка вежливо скрывает беспокойство, но "она хотела остаться в поместье, чтобы защитить его", и, как обычно, игнорировала советы мужа, когда была с ними не согласна.
Беспокойство за свою семью было ничто по сравнению с убежденностью Ли в том, что Джонстон ошибается. Эти два человека восхищались и уважали друг друга, они были давними друзьями, и ни один из них не сомневался в храбрости или мастерстве другого, но характер Джонстона отличался тревожным сочетанием упрямства и чувствительности. Он не терпел вмешательства и, в отличие от Ли, не пользовался полным доверием Джефферсона Дэвиса и знал об этом - и обижался на это.
Джонстон оставил Йорктаун 4 мая, но сообщил об этом Ли только 7 мая. С точки зрения Ли, Джонстон просто исчез на три дня с 55 000 человек - самой большой армией Конфедерации. Решительное наступление федералов могло бы застать Джонстона в тылу, но Джонстон удивил Макклеллана, который все еще готовился к осаде Йорктауна, не меньше, чем Ли.
Капитан граф де Пари - орлеанский претендент на французский престол и внук короля Луи-Филиппа * - который был одним из адъютантов Макклеллана, сообщил об изумлении армии Союза под Йорктауном, обнаружив, что "армия Конфедерации исчезла". Граф, как и войска, был "ошеломлен" и "разочарован" решением Джонстона. Как бы он ни восхищался Макклелланом, он подробно докладывал о крайней медлительности Потомакской армии в преследовании конфедератов, отступление которых происходило "в величайшем порядке". Все, - жаловался граф, - "должно было быть организовано для наступления, которое не было предусмотрено", в результате чего генерал-майор Конфедерации Джеймс Лонгстрит смог занять и удержать Уильямсбург, хотя и не смог удерживать его долго под тяжестью наступления федеральных войск. Неторопливость союзного наступления отчасти объяснялась погодой, но еще больше - плохими картами и неадекватной разведкой. Макклеллану требовалось множество дорог - его большая армия не могла эффективно двигаться по одной узкой и грязной полосе, - но его генералы снова и снова сворачивали не туда и безнадежно терялись. В конце концов, количество сказало свое слово, и Лонгстрит был вынужден оставить Уильямсбург после ожесточенных боев. Джонстон отвел свою армию за последний оставшийся естественный барьер, защищавший Ричмонд, - реку Чикахомини. Он сохранил свою армию, которая теперь была сосредоточена вокруг Ричмонда, но во всех остальных отношениях он привел именно к тем событиям, которых опасался Ли: Норфолк пришлось оставить врагу, разрушить его сооружения и сжечь корабли; контроль Союза над реками Джеймс и Йорк позволил Макклеллану быстро перебросить свои войска вверх по Йорку к Вест-Пойнту; артиллерийские корабли Союза прошли вверх по реке Джеймс недалеко от Ричмонда, где "упаковывались для вывоза" правительственные архивы.