Германо-голландские войска, защищавшие лес, были вынуждены отойти в комплекс зданий. Поскольку со стороны леса попасть внутрь они не могли, им приходилось бежать вокруг стены. Их необъяснимая спешка послужила поводом для обвинения в панике и бегстве. Некоторые британские офицеры с презрением писали, что голландцы сбежали, но свидетели указывают, что они присоединились к гвардейцам в регулярном парке и находились в осаде, пока французы отчаянно штурмовали стену. Солдаты Жерома много раз шли в атаку и много раз их отбрасывали мушкетным огнем из бойниц в стене и с верхних этажей зданий. Один из немецких солдат, оказавшихся в этой осаде, писал, что огонь был убийственным, а на коротком расстоянии мушкеты били точно. Густой пороховой дым окутал здания и верхушки деревьев. Французы, отчаянно пытаясь захватить укрепление, бросили на нее еще одну пехотную бригаду. Это было непростительно. Артиллерии, чтобы разбить стены, у французов не было, не взяли они и лестниц, чтобы залезть на стены, но все-таки продолжали атаковать. Один французский пехотинец вспоминает, что «мертвые, умирающие и раненные складывались в горы». Подполковник Фрэнсис Хоум из 3-го гвардейского Королевского шотландского полка назвал безмерной бойню перед стеной. Он рассказывал, что раненые, лежавшие в этих кучах, постоянно просили его «приказать… стрелять в них, чтобы прекратить их мучения». Также в верхнюю часть леса била батарея из шести британских мортир, разнося в щепки дубы шрапнелью и осколками бомб, что увеличивало масштаб побоища.
Теперь более 9000 французских пехотинцев старались выбить с фермы людей Макдонелла. Не в силах перебраться через стену парка, французы попытались окружить здания, отправив людей справа и слева. Шато оказался в тяжелом положении, но с гребня подоспело подкрепление. Не с центра позиции Веллингтона, как надеялся Наполеон, но от гвардейских батальонов, расположенных сразу за шато. Часть этого подкрепления Веллингтон отправил лично со словами: «Туда, парни, ловите момент, и чтобы я вас больше не видел». Две роты колдстримцев бросились вниз с холма с примкнутыми штыками, смели французов с левого фланга и присоединились к защитникам в стенах фермы. Позже подоспели новые роты, пока, по словам подполковника Хоума, «в Угумоне и вокруг него не собрался целый 3-й полк и еще 8 рот колдстримцев. Количество солдат единовременно собравшихся в Угумоне, не превышало 1200 человек, включая и уцелевших стрелков из Нассау. И эти 1200 человек задерживали по меньшей мере 9000 французов».
Рядовой гвардеец Мэтью Клей, несъедобным завтраком которого стал обгорелый кусок свиной головы, был одним из защитников маленького, обсаженного кустарником огорода, находившегося через дорогу от большого амбара. Огород служил неважной оборонительной позицией против огромного числа французов, которые теперь штурмовали Угумон, так что защитникам приказали вернуться за стены, но Клей и еще один гвардеец, «очень стойкий и неустрашимый старый солдат», умудрились отстать от роты во время этого короткого отступления. Им пришлось остаться за стенами, где они перестреливались с врагом.
Я неблагоразумно взобрался на возвышенность, на которой стояла стена. Я думал, что способен в одиночку справиться с вражескими стрелками… Очень скоро обнаружил, что превратился в отличную мишень для них, потому что красный мундир прекрасно заметен издалека… Я продолжал обмениваться выстрелами с врагом через огород, но у них оказалось преимущество в виде живой изгороди, за которой они могли укрываться. Их пули били в стену позади меня… Мой мушкет пришел в негодность, к моей великой досаде. Оглядевшись, я заметил перед собой другой мушкет, которым тут же и завладел, заменив мой старый. Новый ствол еще не успел остыть от прошлого выстрела и оказался превосходным.
Через несколько минут Клей заметил, что ворота во двор фермы открыты, и оба гвардейца поспешили скрыться за ними, но смогли это сделать, лишь перебравшись через нескольких убитых французов: