В 1928 году произошло объединение абвера и отдела разведки военно-морского флота. Обновленный абвер возглавлял майор Гюнтер Шванц. При очередном реформировании военного министерства с согласия адмирала Редера шефом Абвера-2 в июне 1932 года стал представитель рейхсмарине капитан 2-го ранга Конрад Патциг.
Новый глава абвера четко разграничил задачи абвера по ведению разведки. Все государства разделили на три группы. К главным целям отнесли Францию, Англию, Польшу, Чехословакию и СССР. Как второстепенные цели были определены Бельгия, Швейцария, Румыния, Югославия и США. Австрия, Япония, Болгария и Венгрия были отнесены к странам, разведку против которых ограничили по дипломатическим причинам. В качестве особых случаев выделили Китай и Италию, поскольку в Китае действовала эффективная разведсеть из немецких офицеров-советников при штабе Чанкайши, а с итальянской разведслужбой СИМ наладились вполне доверительные отношения и обмен информацией. Также были созданы новые региональные представительства в Бреслау, Висбадене, Кёльне и Фрибурге.
Наиболее успешными были такие операции абвера: в 1925 году отделением в Кёнигсберге был завербован служащий польского военного министерства, имевший доступ к секретным документам. В течение нескольких лет он фотографировал документы, передавая пленки сотрудникам абвера в Данциге. В 1927 году свои услуги абверу предложил штабс-капитан чехословацкой армии, служивший в министерстве обороны. Причиной предательства оказались долги и страсть к женщинам. Штабс-капитан передал немцам подлинные документы о мобилизационных планах и организации чехословацкой армии. Длительное время с абвером сотрудничал майор в отставке Урлуциано, служивший в военном министерстве Румынии и снабжавший немцев материалами по Румынии, Венгрии и СССР. В 1932–1933 годах абвер заключил соглашение о сотрудничестве и обмене информацией с разведкой Литвы. В Белграде на немецкую разведку работал бывший врангелевский полковник Дурново, представлявший одну из немецких фирм. Широко использовались так называемые разъездные агенты, вербуемые из приграничного населения. В отношении СССР военная разведка базировалась на возможностях, предоставляемых советско-германским договором о военном сотрудничестве, подписанным в обход версальских ограничений. Вплоть до 1933–1934 годов немецкие офицеры выезжали на советские военные полигоны для отработки тактики танковых подразделений, обучения пилотированию новых типов самолетов, ведения химической войны. Для них организовывали посещение советских военных заводов, курсы при Генеральном штабе и т. д. Такая практика была прекращена только к концу 1930-х годов.
После прихода к власти Гитлера К. Патциг был смещен с должности и новым руководителем абвера в январе 1935 года стал капитан 1-го ранга Вильгельм Канарис, который имел большой опыт разведывательной работы. И если до этого времени абвер был сравнительно небольшой, не имевшей политического веса организацией, лишь выполнявшей достаточно узкие задачи армейской спецслужбы, то после прихода Канариса начался расцвет абвера. Организация многократно выросла в количественном отношении, были также расширены ее функции. Абвер стал реальной политической силой и мог по-настоящему конкурировать с другими спецслужбами Третьего рейха, в основном — с СД и гестапо. Для успешной работы необходимо было разграничить полномочия. И усилиями того же Канариса в 1936 году было подписано соглашение о разграничении полномочий абвера, СД и гестапо, известное как «Договор десяти заповедей». Согласно условиям этого договора, СД отвечало за политическую разведку в Германии и за ее пределами. Расследование государственных, политических, уголовных дел, а также проведение следственных действий и арестов возлагалось на гестапо. В исключительной компетенции абвера остались задачи военной разведки и контрразведки. Опираясь на этот договор, Канарис добился того, что вплоть до начала и в первые годы Второй мировой войны абвер оставался главной организацией Третьего рейха по ведению разведки за границей.
Однако все стороны стремились «обойти» условия договора, конкуренция со стороны СД и гестапо усиливалась. Уже в конце 1936 года в здании абвера обнаружили микрофоны, установленные техниками СД. После громкого скандала и вмешательства Гитлера микрофоны убрали, но недоверие между спецслужбами осталось, сглаживаемое лишь дипломатическими маневрами Канариса.