Резиденция верховного ламы — Гусиноозерский дацан, окруженный 17 небольшими, деревянными, одноэтажными, с куполами буддийскими храмами, — находилась в 25 верстах от Селенгинска, среди каменной пустыни, на юго-западном берегу также пустынного Гусиного озера. Здесь возвышалось огромное белое трехэтажное здание китайской архитектуры, украшенное наверху символической фигурой двух вызолоченных блестящих на солнце оленей с колесом между ними. На однообразном и унылом фоне пустыни это белое здание особенно выделялось, казалось величественным и грозным.
Пытался выглядеть величественным и верховный лама, но ему это плохо удавалось. И на него, и на его приближенных делегация, возглавляемая Грязновым, произвела очень большое впечатление. Красные командиры подъехали к буддийскому святилищу на двух «фиатах» и двух «мерседесах», отвоеванных у колчаковцев еще под Красноярском, в сопровождении кавалькады блестящих всадников, одетых в новенькую красноармейскую форму. Появление такой видной делегации произвело на буддийских монахов должное впечатление, и верховный лама объявил своим верующим, что запрет на ловлю рыбы и отстрел дроф не распространяется больше на красноармейцев.
С этого времени красноармейцы не испытывали острой нужды в мясе и рыбе, хотя по-прежнему страдали от недостатка хлеба: бывали периоды, особенно в мае — июне 1920 года, когда кавалеристы не видели хлеба целыми неделями и хозяйственная часть полка выбивалась из сил, доставляя его через Хамар-Дабанский хребет.
Еще сложнее обстояло дело со снабжением лошадей. Так как местное бурятское население хлебопашеством почти не занималось, овса раздобыть было невозможно, и лошади находились да подножном корму. Этого было явно недостаточно, если учитывать расстояния, на которые приходилось совершать переезды кавалеристам при охране границы.
Крупных боевых столкновений у кавалеристов Рокессовского в этот период не было, но назвать спокойной службу на границе никогда нельзя. За рекой Джидой, в пределах Монголии, скрывались бежавшие от Красной Армии белогвардейцы. В Восточном Забайкалье шли упорные бои по ликвидации «Читинской пробки». Казачье население станиц относилось к красноармейцам настороженно, нередко в враждебно, да и в самом 30-м кавалерийском полку часть вновь принятых красноармейцев требовала строгого присмотра.
В начале июня эскадроны были расквартированы по разным деревням. Штаб полка вместе с 1-м в 2-м эскадровами, состоявшими в большинстве из старых красноармейцев, находился в одной станице. 3-й эскадрон, куда входили западносибирские партизаны, размещался верстах в четырех от штаба, а 4-й эскадрон, в котором имелось много бывших колчаковцев и казаков, Рокоссовский счел целесообразным поместить подальше от границы. Как стало известно впоследствии, среди бойцов 4-го эскадрона созрел заговор, организованный несколькими бывшими колчаковскими офицерами и двумя поляками — в прошлом легионерами, работавшими писарями в штабе. Заговорщики собирались напасть на штаб, разгромить его и уйти в Монголию. Случай воспрепятствовал полному осуществлению их плана.
В первых числах июня подковой казначей Грамматчиков возвращался из отдела снабжения дивизии с деньгами для выдачи жалованья. Во избежание лишних разъездов он отправился сначала в 4-й эскадрон. Подъезжая ночью к деревне, где стоял эскадрон, Грамматчиков заметил в ней необычное и показавшееся ему странным оживление. Въехав в деревню, он убедился, что бойцы эскадрона седлают лошадей. Тогда осторожного казначея взяло сомнение, на виду собирающихся в поход кавалеристов он повернул и во весь опор ускакал. Добравшись до штаба полка, он сообщил там об увиденном.
Так как 4-й эскадрон никаких приказаний о выступлении не получал, Рокоссовский поднял на ноги оба эскадрона, и отряд галопом понесся к месту происшествия. В деревне было уже пусто. Казаки эскадрона — 60 человек, вспугнутые полковым казначеем, бежали в полном вооружении. Рокоссовский организовал погоню, но беглецы успели перейти монгольскую границу. Комиссия политотдела дивизии, расследовавшая это происшествие в полку, удалила из его рядов еще около 20 бывших белогвардейцев.