30 января 1937 года Шпеер получил назначение на должность генерального инспектора по строительству столицы рейха. В центре Берлина предполагалось воздвигнуть триумфальную арку, от которой должны были расходиться широкие проспекты. На севере города планировалось возвести огромный дворец, вмещающий 180 тыс. человек. К 1950 году Шпеер намеревался превратить Берлин в столицу мировой метрополии – Германию – и с этой целью снес целые кварталы. Чертежи здания новой канцелярии он делал сам; работы были проведены в рекордно короткое время, что принесло ему репутацию человека, способного осуществить невозможное. Впрочем, должности главного архитектора рейха он так и не получил: ему достались планы урбанизации всего пяти «городов фюрера»: Берлина, Мюнхена, Гамбурга, Нюрнберга и Линца.
Для реализации этих планов требовался камень, и Шпееру подчинили целую организацию с собственным флотом. Он тесно сотрудничал с трудовыми колониями СС, в которых работали заключенные концлагерей.
В качестве преемника Тодта Шпеер унаследовал своего рода империю, включавшую 70 тыс. человек. Не являясь широким специалистом, некоторые полномочия он делегировал другим лицам: так, организацией Тодта руководил Франц Ксавер Дорш; бюро по поставке вооружений – химик и государственный советник Вальтер Шибер, близкий соратник гауляйтера Заукеля (именно он с 1942 года отвечал за набор рабочих); техническим бюро – бывший сотрудник Тодта инженер Карл Отто Заур; сырьевым бюро – Ганс Керль, бюро производства потребительской продукции – инженер Георг Зеебауэр. Шпеер значительно повысил персональную ответственность промышленников, создав специальные комитеты, отвечавшие за выпуск разных видов вооружений (стрелкового оружия, боеприпасов, танков). Производители также были объединены в особые комитеты. Таким образом, за выпуск продукции отвечали промышленники, руководимые государством.
Полномочия Шпеера постоянно расширялись. В апреле он был назначен начальником «отдела централизованного планирования» Четырехлетнего плана, отвечавшего за поставку сырья; месяцем позже он возглавил Бюро военной экономики и вооружений штаба армии – через год эта организация была распущена. В июле 1943 года верховный главнокомандующий военно-морским флотом Карл Дёниц поручил ему отвечать за вооружение флота; 1 августа к этим обязанностям добавилось руководство авиационным вооружением (Шпеер перепоручил его генералу Мильху). Отныне ответственность за вооружение вермахта находилась в одних руках. Но это было еще не все. 6 августа 1943 года Шпеер стал ответственным за вопросы энергетики и создал особый отдел, которым руководил государственный секретарь Гюнтер Шульце-Филиц, бывший сотрудник Тодта; затем, 2 сентября, он возглавил отрасль гражданской промышленности, до того подчинявшейся министру экономики. Отныне ведомство Шпеера называлось министерством вооружений и военной промышленности. Он также отвечал за производство вооружений в оккупированных странах Европы. Одновременно росло влияние архитектора в области внешней экономической политики.
Таким образом, в относительно короткое время Шпеер стал одним из самых могущественных людей в Третьем рейхе, что вызвало к нему неприкрытую зависть со стороны «комитета трех» – Вильгельма Кейтеля, Ганса-Генриха Ламмерса и Мартина Бормана. Для самозащиты Шпеер старался поддерживать дружеские отношения с Геббельсом и Гиммлером, однако в последней фазе существования Третьего рейха они пошатнулись. Кроме того, власть Шпеера встречала противодействие со стороны гауляйтеров, весьма ревниво оберегавших свои прерогативы. Как и большинство членов нацистской номенклатуры, Шпеер всецело поддался опьянению властью, возможностью распоряжаться судьбами миллионов людей и жонглировать миллиардами марок.