Абвер делился на три отдела (Abteilung — AM.). Первый отдел, или Абвер-I (Abt.I), отвечал за сбор и оценку разведывательной информации. Главным ее заказчиком и потребителем было Главное командование Вермахта, и потому предполагалось, что она должна носить прежде всего военный характер. Это определялось и соглашением «О разделе сфер влияния», заключенным 21 декабря 1936 г. между Абвером и СД, которое знающие люди ехидно прозвали «Десятью заповедями». Политическая же разведка была прерогативой службы внешней разведки СД. Однако на практике было невозможно четко определить «границы ответственности». Абвер и СД неизбежно вторгались в чужую сферу интересов, что приводило к постоянным конфликтам и нездоровому соперничеству.
В Абвер-I входили пять подотделов: IX «Иностранные армии» (Fremde Heer), IM «Иностранный военно-морской флот» (Fremde Marine), IL «Иностранная авиация»(Fremde Luft), IBI «Иностранная промышленность» (Fremde Wirtschaft) и IILB «Авиаразведка» (Technik-Luft). Каждый из них занимался сбором разведывательных данных в своей сфере, что следовало из их названий.
Кроме того, в Абвере-I имелись пять подгрупп, разделенных по географическому принципу. Так, самая многочисленная подгруппа «Гамбург» (Amt Hamburg) отвечала за организацию военной разведки на территории Англии. Подотделы и подгруппы, в свою очередь, подразделялись на т. н. рефературы.
В 1936 г. начальником отдела Абвер-I был назначен 43-летний майор Ханс Пикенброк (Hans Piekenbrock), начавший работать в военной разведке еще в 1921 г. Благодаря своим способностям он стал второй по влиятельности фигурой в Абвере после Канариса, считавшего его своей правой рукой. Выполняя деликатные поручения нацистского руководства и лично Гитлера, Пикенброк изъездил вдоль и поперек всю Европу, бывал на Ближнем Востоке и в Советском Союзе. При этом он всегда оставался в тени и в случае опасности вовремя и умело заметал следы.
Второй отдел, или Абвер-II (Abt.II), был создан по личной инициативе Канариса в середине 30-х гг. Его задачей были организация подрывной деятельности и саботажа на территории противника. Он состоял из пяти подотделов, разделявшихся на 15 самостоятельных рефератур. 10 ноября 1938 г. начальником Абвера-II стал 41-летний майор Эрвин фон Лахузен-Вивремонт (Erwin von Eahousen-Vivremont) — кадровый офицер бывшей австрийской военной разведки, начавший свою карьеру еще во время Первой мировой войны.
В распоряжении Абвера-II имелись три крупных учебных центра для подготовки диверсантов и агентов. Один центр находился в местечке Тегеле, около Берлина, второй — в Квинцзее, недалеко от Бранденбурга, а третий — в местечке Химзее. Все они были тщательно замаскированы и скрыты от посторонних глаз. Подготовка велась в условиях, максимально приближенных к боевым. Так, на опытном поле в Квинцзее имелись мосты различных конструкций, участки железнодорожного полотна и так далее.
Третий отдел, или Абвер— iii (abt.iii), который 1 марта 1939 г. возглавил 42-летний майор Франц-Эккард фон Бентивеньи (Franz — Eccard von Bentivegni), кадровый военный-артиллерист, с 1936 г. служивший в Абвере, отвечал за контрразведывательную деятельность. Его основными функциями были недопущение проникновения иностранных агентов в Вермахт, обеспечение охраны государственной тайны, документов особой важности и лиц, имевших к ним допуск. Абвер-III имел разветвленную структуру, в него входили десять подотделов, каждый из которых, в свою очередь, делился на множество подгрупп и рефератур по направлениям работы. В его составе имелось и специальное подразделение, как теперь сказали бы, «служба собственной безопасности», которое вело наблюдение за сотрудниками Абвера.
Нет никаких официальных данных о численности центрального аппарата Абвера. В конце войны практически все документы немецкой военной разведки, большинство из которых существовало в единственном экземпляре, были уничтожены. Из сохранившихся отрывочных сведений известно, что, например, к марту 1943 г. в трех основных отделах штаб-квартиры работали 140 сотрудников, в том числе в Абвер-1 — 63 чел., в Абвер-II — 34 чел. и в Абвер-III — 43 чел.
Для оперативной работы при каждом военном округе, группе армий и каждой военно-морской базе имелись т. н. «пункты» Абвера (Abwehrstellen) — всего 33 штуки. Позднее в ходе войны такие «пункты» создавались и на оккупированных территориях. Численность их сотрудников изменялась в широких пределах, так, например, в абверовском пункте во французском порту Шербур было всего три человека, а в парижском пункте — уже 382. В среднем же каждый такой пункт вместе с входившими в него подпунктами и полевыми разведпунктами насчитывал около 150 сотрудников.
Согласно распоряжению Канариса, каждый орган Абвера при группе армий или при полевой армии был обязан иметь разведывательную сеть из минимум 25 агентов. Часть их должны были действовать в прифронтовой полосе, на дальности до 30 км от линии фронта, а остальные забрасываться в глубокий тыл.