В октябре 1939 года назначен «имперским комиссаром по консолидации германской нации», ему было поручено проведение глобальных мероприятий, направленных на германизацию Восточной Европы (славянских государств), в ходе которых предполагалось осуществить выселение десятков миллионов славян и евреев с целью освобождения территорий, предназначенных для заселения их этническими немцами. В феврале 1942 года сформировал в составе СС Главное административно-хозяйственное управление (ВФХА); в его ведении находилось большое количество промышленных предприятий и все концентрационные лагеря: их узники широко использовались для принудительных работ в промышленности или же передавались в распоряжение крупнейшим немецким фирмам («ИГ Фарбениндастри», «Фридрих Крупп» и другие). Руководил ВФХА один из ближайших помощников Гиммлера – О. Поль.
После гибели Гейдриха Гиммлер в мае 1942 года лично возглавил РСХА, назначив своим заместителем Э. Кальтенбруннера. Даже после занятия последним этого поста в январе 1943 года, сохранил за собой непосредственный контроль за деятельностью всех специальных служб, прежде всего гестапо и его начальника – Г. Мюллера. В августе 1943 года, оставаясь на всех прежних должностях, возглавил имперское министерство внутренних дел.
Начиная со второй половины 1943 года Гиммлер, через посредство ближайших сотрудников, стремился установить контакты с представителями американской разведки, рассчитывая заключить сепаратный мир при сохранении за Гиммлером политической власти в Германии и продолжении военных действий на Восточном фронте. В феврале 1944 года Гитлер подписал указ о подчинении Гиммлеру всех разведывательных структур Германии, в том числе военной разведки и контрразведки вермахта – абвера, а также разведструктур Военно-морского флота и Люфтваффе.
После провала Июльского заговора 1944 года Гиммлер назначен главнокомандующим резервной армией и начальником вооружений сухопутных войск вместо генерала Ф. Фромма, обвиненного в принадлежности к движению Сопротивления. В кратчайшие сроки осуществил «чистку» армейских кругов – в первую очередь высшего офицерского состава, – заменив их преданными офицерами СС. Тогда же в Германии была объявлена всеобщая мобилизация населения и под руководством Гиммлера началось формирование так называемых «народно-гренадерских дивизий» – отрядов народного ополчения. В распоряжение рейхсфюрера СС переданы ранее находившиеся в оперативном подчинении армейского командования части войск СС. В декабре 1944 года назначен командующим группой армий «Верхний Рейн» (с января 1945 года – группа армий «Висла»).
Непосредственно руководил операцией «Северный ветер», главная цель которой – выбить из района Эльзас войска противника и закрепиться на завоеванных позициях.
Бои шли с переменным успехом, германское и англо-американское руководства вводили в действие все новые и новые части: пехоту, танковые части. Частям вермахта даже удалось форсировать Рейн, но удержать плацдарм они так и не смогли: противник сметал немецких солдат ковровыми бомбардировками.
В конце января 1945 года Гиммлер был срочно переброшен на Восточный фронт, где началось наступление советских войск. Группа армий «Висла» потерпела серьезное поражение, попав на Одере в крайне тяжелое положение. В конце марта согласно распоряжению Гитлера Гиммлер сдал командование генерал-полковнику Г. Хейнрици.
Обидевшись на фюрера, он решил вернуться к идее заключения сепаратного мира. В. Шелленберг с согласия Гиммлера через находившегося в Италии обергруппенфюрера СС К. Вольфа активизировал ход переговоров с американской разведкой. Одновременно переговоры о перемирии велись и при посредстве шведского дипломата Ф. Бернадота. Однако известия о переговорах дошли до одного из противников Гиммлера и претендента на первые позиции в германском руководстве М. Бормана, который предпринял попытку их сорвать, арестовав участников немецкой стороны.
В апреле 1945 года Гиммлер принял решение, используя все имеющиеся в его распоряжении вооруженные части и подразделения СС, совершить государственный переворот и взять всю власть в свои руки, сместив со всех постов Гитлера и его приближенных. Тогда же он – опять же через Вольфа – официально обратился к американскому командованию с предложением о начале переговоров, предоставив им в качестве залога часть попавших в его руки произведений искусств, изъятых в оккупированных странах, но союзное командование отказалось вести переговоры с главой СС.
Борман сообщил о закулисных махинациях Гиммлера Гитлеру – взбешенный фюрер сместил его со всех государственных постов и исключил из нацистской партии. Но опальный рейхсфюрер СС сохранил за собой полный контроль над своими войсками, важнейшие посты в которых занимали преданные ему офицеры.