Для поддержания боевого духа солдат и офицеров, сохранения традиций и войсковой дружбы при РОВС существовали союзы и объединения офицеров, георгиевских кавалеров, офицеров штаба, гвардейцев, инвалидов, Комитет казачьих организаций, Военно-исторический кружок, полковые собрания.
С этой силой наше государство не могло не считаться. Усилиями советских органов государственной безопасности в конце 1930-х годов РОВСу был нанесен серьёзный удар: в сентябре 1937 года Миллер был тайно вывезен советской разведкой в Москву. После проведённого следствия он был осуждён и расстрелян. Руководящие органы РОВС были разложены изнутри, и к 1941 году союз прекратил своё существование.
После завершения операции «Трест», проводившейся разведкой и контрразведкой ВЧК — ОГПУ в 1922–1927 годах по упреждению и сковыванию диверсионно-террористической деятельности Русского общевоинского союза против Советской России, а затем и СССР, руководство РОВС вновь активизировало заброску на территорию СССР хорошо подготовленных групп боевиков, каждая из которых действовала автономно. Идеологом и непосредственным организатором этой работы являлся А.П. Кутепов, ставший после смерти в 1928 году Врангеля и в 1929 году великого князя Николая Николаевича единоличным руководителем Белого движения за рубежом.
С присущими ему упорством и настойчивостью Кутепов принимал меры к практической реализации плана по заброске в СССР боевиков для осуществления террористических актов. Это обстоятельство поставило перед руководством ОПТУ вопрос о проведении операции по нейтрализации Кутепова.
На основе собранных через надежную агентуру сведений об образе жизни Кутепова, его привычках, принимаемых им мерах личной безопасности, в Москве была разработана операция по его похищению, осуществление которой было поручено опытному нелегалу Якову Серебрянскому, руководителю Особой группы при председателе ОПТУ, и отобранным им для этого нелегалам. Проведение операции было намечено на воскресенье 26 января 1930 года, так как, по полученным разведкой достоверным данным, Кутепов в этот день должен был в 11.30 присутствовать на панихиде по барону Каульбарсу в Галлиполийской церкви на улице Мадемуазель в двадцати минутах ходьбы от его дома.
Накануне, 25 января, Кутепову одним из сотрудников опергруппы была передана записка, в которой ему назначалась важная кратковременная встреча на его маршруте к церкви. При этом учитывалось, что Кутепов на важные встречи, связанные с агентурной и боевой деятельностью РОВС, всегда ходил один. Прождав некоторое время «курьера» на трамвайной остановке на улице Севр, Кутепов продолжил свой путь к церкви. На улице Удино он был перехвачен опергруппой, представившейся сотрудниками французской полиции, и увезет за город на автомашине. Однако доставить его в Москву и, как планировалось, предать суду не удалось, так как по дороге Кутепов скончался от сердечного приступа.
Эта операция ОГПУ нанесла тяжелый удар по РОВС. Депрессия, панические настроения, недоверие к руководителям, взаимные подозрения в сотрудничестве с органами госбезопасности СССР были характерны не только для членов Русского общевоинского союза, но и для поддерживавшей его части белой эмиграции на протяжении ряда лет после исчезновения Кутепова.
Преемником Кутепова на посту председателя РОВС стал генерал-лейтенант Евгений Карлович Миллер, кадровый военный, окончивший в 1892 году Академию Генерального штаба. С 1898 по 1907 год он находился на военно-дипломатической работе в Бельгии, Голландии и Италии. В период Первой мировой войны был начальником штаба 5-й армии. В августе 1917 года представлял Русскую Ставку при итальянской Главной квартире. В 1918 году после высадки английских войск в Архангельске был главкомом белых войск на Севере, в 1920 году возглавил Северное правительство. После эвакуации английских войск из Архангельска уехал в Финляндию, откуда перебрался в Париж, где сначала состоял при штабе Врангеля, а затем находился в распоряжении великого князя Николая Николаевича.
В 1929 году стал заместителем председателя РОВС. Вступив в должность председателя РОВС, Миллер назначил своим первым заместителем генерала Ф.Ф. Абрамова, вторым — вице-адмирала М.А. Кедрова. Были новые назначения и среди начальников отделов и отделений: всю информационную работу Миллер поручил Трубецкому, начальником канцелярии назначил генерал-лейтенанта Н.Н.Стогова, а его помощником — генерала П.А. Кусонского.