Наконец сотни спешились, на двадцатиградусном морозе начался упорный бой «за каждый камень». Унгерн объявил о «розыгрыше» денежных призов по следующей системе: если атака ведется сотней, то первый из сотни, взобравшийся на утес или уступ, получает тысячу рублей; если взводом — 500; если отделением — 100. Было взято призов на 20 тысяч рублей, тем не менее китайцы стойко оборонялись, некоторые скалы по нескольку раз переходили из рук в руки. Лишь ночью, под прикрытием темноты, защитники Чойрин-Сумэ отошли на вершины скальной гряды, прикрывавшей котловину с монастырем. Унгерн не стал дожидаться рассвета и после короткого перерыва возобновил атаки.
Он знал, что китайские войска не способны отвечать контрманевром на маневр противника. Это была их главная беда. «На заранее занятой позиции китайцы дрались отчаянно, — делится наблюдениями Аноним, — но стоило только немного измениться обстановке, и они из воинской части превращались буквально в стадо баранов». Вина здесь целиком ложилась на командный состав, именно поэтому Унгерн китайского солдата ценил много выше, чем офицера. Семенов вообще считал, что «лучший военный материал» — это китайские солдаты под командой русских офицеров.
В темноте, при отступлении, китайцы растерялись и не смогли вновь организовать оборону. Занятая позиция была гораздо более неприступной, чем прежняя, но продержались они на ней недолго. Впрочем, победа не была бы столь мгновенной, если бы не унгерновские артиллеристы. С неимоверным трудом они сумели втащить одну пушку на отдельно стоящую скалу, где никого не оказалось, и сверху, еще затемно, прямой наводкой повели огонь по монастырю и по его защитникам. Началась паника, перешедшая в бегство, когда одним из снарядов убило начальника гарнизона. К рассвету сотни были на гребне гряды. «Когда взошло солнце, — пишет Князев, — с вершины открылась безбрежная равнина. Далеко на горизонте виднелись несколько темных пятен, которые могли быть лишь колоннами противника, отходившего к Калгану».
Унгерну досталась колоссальная добыча — едва ли не бóльшая, чем при взятии Урги. Одного риса вывезли свыше трех тысяч пудов. По всему лагерю бродили брошенные верблюды. На них Унгерн пересадил своих всадников и немедленно двинулся в погоню. Высланные вперед чахары безжалостно рубили беглецов, и даже через два года, как рассказывали проезжавшие из Урги в Калган, степь в этих местах белела костями летом, а зимой покрывалась полузаметенными снегом бугорками и холмиками. Тем, кто сложил оружие, Унгерн позволил уйти в Китай, не желая излишней жестокостью вызывать ответную непримиримость.
После того как известия о чойринском разгроме достигли Пекина, там, по сообщениям харбинских газет, было «неспокойно»; якобы возникли опасения, что барон перейдет границу, захватит Калган (600 верст от Пекина) и продолжит победный марш на юго-восток. С другой стороны, будто бы встревожились евреи в зоне КВЖД. Как доносил Унгерну его хайларский агент, они «усиленно готовятся к бегству в Палестину»; причина — «ожидание наступления монгол на Маньчжурию и Хайлар». Все это не более чем слухи, которыми русские эмигранты тешили свое постоянно ущемляемое китайцами национальное самолюбие. Едва ли в Пекине всерьез опасались такого развития событий, да и сам Унгерн, трезво оценивая собственные возможности, ни о чем подобном не помышлял.
Преследование китайцев прекратили верст через двести. От монголов стало известно, что в том же направлении по Старо-калганскому тракту, то есть параллельно унгерновцам, но южнее, движется пятитысячная колонна гаминов. Их отправили «на усиление ургинского гарнизона», но по дороге они узнали о падении столицы и теперь возвращались в Китай. Унгерн поручил есаулу Парыгину ликвидировать эту колонну, а сам на трофейном автомобиле поспешил в Ургу. Ему, видимо, сообщили, что над столицей нависла новая опасность.
Слух о гаминах на Старокалганском тракте не подтвердился, но поход в глубину зимней Гоби навсегда остался в памяти его участников как странное и волнующее приключение.
«При лунном свете, из таинственной смутной дали, — классическим набором эпитетов из словаря поэта-декадента пытался передать Аноним свои ощущения, — беззвучно проносились на огромных верблюдах, как призрачные тени, монголы. Кружились вокруг безмолвствующей колонны и снова исчезали в сером свете в тихую даль».