В нощта на 24 август 1814 г. британските войски напуснали под строй горящата сграда на Капитолия и тръгнали с маршова стъпка по Пенсилвания авеню. По онова време по протежение на широката улица имало само дървени къщи, а последната отсечка от километър и половина до Белия дом минавала между два реда дървета. Отряд от около 150 души пресякъл улицата и се насочил към Белия дом, който се издигал насреща тъмен, празен и незащитен. Това била най-величествената сграда в града, построена по проект лично на Джордж Вашингтон. От четвъртия президент на Съединените щати, Джеймс Мадисън, нямало и следа; той бил избягал на кон преди часове. Британците си мислели, че може да е капан; те не можели да повярват, че американците ще ги оставят да се разпореждат в столицата им.
Но отникъде не срещали съпротива.
Те влезли необезпокоявани в Белия дом през главния вход и на светлината на фенери започнали да разглеждат елегантната сграда. В банкетната зала на приземния етаж открили маса, сложена за четирийсет души. Всичко било подредено с вкус, подканващо и готово за ползване. В кухнята на скари се печели меса, върху печката къкрели тенджери със зеленчуци и сосове. Вечерята на президента, от която той явно нямал намерение да се възползва. И така, те насядали около масата, изпили виното, изяли храната и вдигали наздравици с думите: „Мир с Америка, война с Мадисън!“.
След това войниците си взели за спомен кой каквото си харесал, но нищо ценно, за да не бъдат после обвинени в плячкосване. А ценни предмети имало в изобилие. Стаите били мебелирани с канапета, бюра, тапицирани столове, някои събирани от Джеферсън при престоя му като посланик във Франция, други някога принадлежали на Вашингтон и Адамс. Повечето от личните вещи на Мадисън също били изоставени. Един войник дори свалил портрета на Доли Мадисън от стената, за да бъде показан на изложба в Лондон. Парадната сабя на президента станала притежание на млад шотландски лейтенант. След като приключили с пируването, броденето по стаите и плячкосването, те натрупали столовете върху масата, а всички останали мебели били събрани на едно място. Прозорците били избити, завесите и завивките на леглата залети с газ за лампи. След това петдесет войници се строили отвън и всеки хванал в ръце по един дълъг прът, на върха на който имало завързани на топка парцали, напоени с газ. Прътовете били подпалени и по команда хвърлени вътре през избитите прозорци.
Пожарът избухнал в миг.