Надежды Ли так и не оправдались. События не позволяли ему сосредоточить необходимое количество войск, прокормить их и снабдить боеприпасами. 17 марта он написал военному секретарю Брекинриджу, что больше не может "поддерживать даже наши небольшие силы кавалерии вокруг Ричмонда" из-за нехватки фуража. 27 марта он писал с ноткой горечи, учитывая, как долго он призывал правительство сформировать вооруженные отряды чернокожих: "Я ждал получения приказа от военного министерства о создании и организации цветных войск, прежде чем предпринимать какие-либо действия в этом вопросе. Насколько я понимаю, приказ был опубликован в газетах, но я его не видел. Тем временем мне сообщили, что в Петербурге можно получить некоторое количество рекрутов, если найти подходящих людей, которые заставят их записаться в армию".
В 4 часа утра 2 апреля Грант начал свое долгожданное наступление, "атаковав весь петербургский фронт" 125 000 человек против длинной, далеко растянутой линии Ли, насчитывающей не более 33 000 полуголодных бойцов. Независимо от того, могла ли миссис Ли и ее дочери Мэри Кэстис и Милдред видеть и слышать предварительную бомбардировку, от которой ранним утром небо над Петербургом окрасилось в красный цвет, Ли видел ее и знал, что она предвещает, и он "послал офицера, освобожденного от наказания, чтобы забрать Агнес из дома Мидов и отвезти ее на железнодорожную станцию". Отец предупредил ее, что она может оказаться в ловушке в городе, и в последнюю минуту организовал ее спасение, несомненно, с глубоким вздохом облегчения, что она оказалась на борту последнего поезда из Петербурга. Затем он перешел к написанию письма военному министру Брекинриджу. "Я не вижу перспектив сделать больше, чем удержать нашу позицию здесь до ночи. Я не уверен, что смогу это сделать; если смогу, то отступлю сегодня вечером к северу от Аппоматтокса. . . . Таким образом, наш единственный шанс сконцентрировать силы - сделать это у Дэнвильской железной дороги, что я и постараюсь сделать немедленно. Я советую сделать все приготовления, чтобы покинуть Ричмонд сегодня вечером".
В воскресенье, 2 апреля, миссис Ли и ее дочери посетили службу причастия в церкви Святого Павла, где увидели, как пономарь прошел к алтарю и почтительно наклонился, чтобы шепнуть президенту Дэвису. Дэвис поднялся со своей скамьи, за ним один за другим последовали "другие важные военные и правительственные деятели". Линия Ли под Петербургом была прорвана, и Ричмонд был потерян. К тому времени, когда миссис Ли вышла из церкви после службы, уже выстроились повозки, чтобы вывезти архивы и то, что осталось от золотых слитков правительства Конфедерации. К полудню она и ее дочери наблюдали за тем, как по городу распространяется паника. Члены правительства Конфедерации теперь были беглецами, разыскиваемыми людьми, бежавшими в никуда. "Все жители Ричмонда, богатые и бедные, высокородные и низкого происхождения, казалось, спешили покинуть город. Повозки и кареты, заваленные мебелью и бочками, толкали нескончаемый поток тяжело нагруженных пешеходов, стремящихся убраться куда-нибудь подальше, спасаясь от страшных янки. Через открытые створки семья прислушивалась к звукам бегства, топоту ног, скрипу колес повозок, плачу детей и вою испуганных лошадей, когда "мрачный ужас распространял свою дикую заразу"".