Русский общевоинский союз был создан по приказу Врангеля 1 сентября 1924 г. Союз явился стержнем русской политэмиграции и объединил около 30 тысяч человек. Целью организации было сохранение Русской армии, взаимопомощь, политическая и вооруженная борьба с большевиками. «Основным принципом Русского общевоинского союза является беззаветное служение Родине, непримиримая борьба против коммунизма и всех тех, кто работает на расчленение России. Русский общевоинский союз стремится к сохранению основ и лучших традиций и заветов Русской Императорской армии и армий белых фронтов».
Верховным Главнокомандующим Союза стал Великий князь Николай Николаевич. Делегировав ему это пост, Главнокомандующий и председатель РОВС Врангель демонстративно отошел от политики. РОВС стал самой мощной белоэмигрантской организацией. В СССР его разработкой занялся иностранный отдел ОГПУ.
Для Иностранного отдела ОГПУ борьба с РОВС считалась первостепенной задачей. Ведь эта организация планировала не только агентурную деятельность на территории СССР, но и ведение террористической и боевой деятельности как против страны, так и против ее дипломатических представителей. РОВС исповедовал систему так называемого «среднего террора», при которой наносились удары по отдельным учреждениям компартии и ОГПУ в столицах. А в идеале предполагалось вторжение силами бывших белогвардейцев на территорию России.
Большевики не отличались мягкотелостью: действия их разведки включали и возможное физическое устранение противника, где бы он ни находился. 6 февраля 1921 г. на территории Китая ликвидатор убивает атамана Александра Дутова. В ноябре 1922 г. в Болгарии чекисты уничтожили белого генерала Виктора Покровского. 7 апреля 1924 г. советская разведка обманным путем захватила в Китае атамана Бориса Анненкова; его вывезли в СССР, судили и расстреляли. В 1924 г. заманили в Россию из Польши, а в 1925 уничтожили руководителя «Народного союза защиты Родины и Революции» Бориса Савинкова. Глава украинских националистов Симон Петлюра был убит 25 мая 1926 г. в Париже агентом ГПУ Самуилом Шварцбардом.
С 1921 по 1927 г. большевики контролировали боевое крыло белой эмиграции с помощью специально созданной ОГПУ «подпольной» «Монархической организации Центральной России» (МОЦР) – знаменитая чекистская операция «Трест». Однако в апреле 1927 г. один из чекистских двойных агентов Александр Опперпут признался эмигрантам в своем предательстве и выдал всех известных ему чекистских агентов.
Генерал Петр Врангель уже в ноябре 1923 г. заявил, что считает МОЦР чекистской провокацией, и предупредил своих соратников об угрозе «советской азефовщины». Барон отошел от активной работы в РОВС, и ее фактически возглавил другой герой белого движения – Александр Кутепов. Врангель не доверял его конспираторским способностям: «Как показал опыт, работа эта гибельна для тех, кто там в России творит то же дело, что и мы. Остается, быть может, одно – потребовать от А. П. или неопровержимые доказательства его утверждений, что работа его не потерпела краха, или потребовать от него от этой работы отойти…»
После разоблачения «Треста» обвинения в легкомыслии и недостаточной конспирации заставили Кутепова на время отойти от прямого участия в боевой деятельности. Петр Врангель фактически возглавил РОВС и стал, тем самым, главным врагом СССР и ОГПУ.
Петр Врангель это понимал. Он отстранил от руководства РОВС людей, хоть как-то связанных с «Трестом», и опирался на собственную строго конспирированную «организацию в организации». Так, 9 февраля 1927 г. он отрешил генерала Скоблина (как позже оказалось, советского агента) от командования Корниловской дивизией.
Отстранившись от эмигрантских дрязг, Врангель сконцентрировался на том, что сам считал важным. Он заканчивал мемуары. Организовывал быт бывших военнослужащих Белой армии. И вынашивал планы по созданию собственной разведывательной и контрразведывательной организации. Абсолютно автономной, тайной, защищенной от возможной чекистской инфильтрации, чтобы не вляпаться в какой-нибудь очередной «Трест». Поэтому он окружал себя только преданными людьми, к которым относились, например, генералы Шатилов, Фон Лампе, Абрамов, лично близкие ему, проверенные работники.
По утверждению работников ФСБ, у иностранного отдела ОГПУ оставались агенты в окружении Врангеля и его генералов, и в Москве регулярно получали агентурную информацию о белой эмиграции.