Состоял он из подотделов: администрации (2-А), «Вест», «Ост» и «Зюйд-ост», морского подразделения, лаборатории. Кроме того, отдел контролировал диверсионную школу (2-Те), эскадрилью «Гартенфельд», которая занималась заброской агентов, и полк особого назначения «Бранденбург-800».
Отдел абвер-3 проводил контрразведывательные мероприятия в армии и военной промышленности, присматривал за неразглашением военной тайны и организовывал внедрение агентов в иностранные спецслужбы. Когда полыхнула Вторая мировая война, этот отдел занялся борьбой с антифашистами в самой Германии и на оккупированных территориях, плотно взаимодействуя с тайной государственной полицией и службой безопасности. Он состоял из 15 подотделов. Общее руководство осуществлял 3-А, 3-В занимался общими вопросами безопасности, 3-Н — контрразведкой в сухопутных войсках, 3-L — контрразведкой в военно-воздушных силах. Контрразведкой на флоте ведал подотдел 3-М, контрразведывательной защитой промышленности — 3-Wi. Аналитикой занимался 3-G, 3-D осуществлял дезинформацию противника, 3-N и 3-К — контрразведку в СМИ и на радиовещании. Учебная структура отдела была на попечении 3-U, военная безопасность — 3-Z, контрразведка и вербовка агентов в лагерях для военнопленных — 3-К, зарубежная контрразведка (внедрение в спецслужбы) -3-F, радиоперехват и расшифровка сообщений — 3-F/Fu.
В 1936 г. в при абвере-3 организовали полевую тайную (военную) полицию для содействия контрразведке в осуществлении арестов и допросов. Численность полиции в середине Второй мировой войны достигала 7000 человек. Однако в 1942 г. ее функции перешли к СД.
Отдел «Заграница» включал в себя 17 подотделов, работал с МИДом, давал указания военным атташе, собирал информацию из доступных источников (литературы, радио).
Основной отдел абвера — отдел Z, в структуру которого входили 7 подотделов. Направления деятельности — административные, кадровые, финансовые, юридические вопросы, ведение центрального архива и документации на агентов.
Абвер поучаствовал в подготовке оккупации Чехословакии, развязывании войны с Польшей и Францией. Несомненным успехом немецкой спецслужбы можно считать захват архива польской разведки, ликвидировать который не успели. Немцы обнаружили бункер, где хранился архив. Материалы перевозили в Германию на 6 грузовых машинах. Нацистам оказались весьма полезными сведения о польских агентах в СССР и Европе, о расположении советских и британских воинских частей. Полученная информация учитывалась при планировании операций «Морской лев» (предполагавшееся вторжение на острова Туманного Альбиона) и «Барбаросса» (нападение на СССР). Часть раскрытых польских агентов была перевербована.
Практически сразу после начала войны с СССР абвер потерял весомую долю своего значения. В июне 1941 г. командование вооруженными силами Германии, ревностно наблюдавшее за ростом влияния руководителя разведки, недовольное его вмешательством в военные вопросы и испытывавшее «головокружение» от успехов немецкой армии на Западе, «продавило» директиву, в соответствии с которой за абвером закреплялась агентурная работа исключительно в прифронтовой зоне. Таким образом ранее обширная деятельность абвера теперь свелась к стандартной тактической разведке под контролем военных. Впрочем, в сентябре 1941 г., когда голова у нацистов перестала кружиться, Гитлер отменил директиву.
Еще до непосредственных боевых действий в СССР немецкая разведка стала забрасывать на территорию противника многочисленные диверсионно-разведывательные группы и отдельных террористов. Перед ними ставилось множество задач. Они оборудовали склады оружия, места для парашютных десантов, производили взрывы, нарушали связь, размещали ориентиры для воздушных бомбардировок на военных, промышленных и транспортных объектах. Также они отравляли воду, привлекали к сотрудничеству кадры, которые подавали бы сигналы и указывали цели для самолетов, формировали антисоветские банды, совершали поджоги.
Начиная с мая 1941 г., диверсанты приступили к своей работе. Например, в Таурагском уезде Литовской ССР, расположенном вдоль границы с подконтрольной немцам территорией, огнем были уничтожены приблизительно 400 га леса, в Тракайском уезде — 200 га. Пожары, устроенные «засланцами», тушили всем миром: пограничники, военные, местные жители, которые к тому же очень помогли в поимке террористов. В период с 18 по 22 июня 1941 г. на минском направлении чекисты нейтрализовали 211 диверсионных групп и одиночек.
Недалеко от Варшавы появилась штаб-квартира специальной структуры под названием Вали- II, призванная усилить эффективность диверсионно-террористической деятельности. Под ее контролем находились диверсионные группы, которые закреплялись за воинскими подразделениями и на значимых направлениях фронта засылались в советский тыл для его разрушения.