24 марта 1949 г. в военной карьере маршала Василевского наступает новый этап. Он был назначен министром Вооруженных Сил СССР. 25 февраля 1950 г. в соответствии с Указом Президиума Верховного Совета Министерство Вооруженных Сил СССР как единый орган прекратило свое существование. Оно было разделено на Военное министерство СССР и Военно-морское министерство СССР. Военное министерство возглавил Василевский, а военно-морское — адмирал флота Кузнецов. 29 июня Совет Министров СССР утверждает Положение о Военном министерстве, на которое возлагались руководство Советской Армией, разработка планов ее строительства и развития, проблем ведения войны, основ общего мобилизационного плана Вооруженных Сил Советского Союза и мобилизационного плана Советской Армии, а также основ общего плана оперативного использования Вооруженных Сил СССР и др.
Согласно Положению о Военном министерстве министр имел первого заместителя, заместителей по вооружению, по радиолокационному вооружению, по тылу, по строительству и расквартированию. Начальник Генштаба, главнокомандующий ВВС, командующий противовоздушными силами страны и главный инспектор Советской Армии являлись заместителями военного министра, каждый по роду своей деятельности. В Военном министерстве был учрежден Главный военный совет (ГВС) под председательством военного министра.
В должности министра вооруженных сил (военного министра) маршал Василевский уделял особое внимание разработке вопросов применения вооруженных сил в возможной будущей войне. В первой половине 1949 г. был подготовлен новый документ под названием «Основные вопросы оперативного использования Вооруженных Сил Советского Союза». В отличие от плана 1946 г. в нем впервые были разработаны вопросы активной обороны не только на западном, но и на других театрах военных действий. В армии отпора кроме войск, находившихся на границе и за границей, предусматривалось включить силы приграничных военных округов, которые рассматривались как второй эшелон, предназначенный для отражения вторжения противника.
В конце 1949 г. по инициативе маршала Василевского было решено разработать два плана: «Оперативный план 1950 г.» и так называемый «Большой оперативный план». Первый план предусматривал развертывание вооруженных сил по существовавшему тогда мобилизационному плану, а во втором плане нашли отражение результаты перспективного строительства вооруженных сил. Западный ТВД по-прежнему считался главным. С учетом этого войскам на западном направлении планировалось определить решительные цели по упреждению противника в нанесении ударов, захвату стратегической инициативы, разгрому противостоящих группировок врага и выходу на рубежи, обеспечивающие выгодные условия для дальнейшего ведения войны.
Маршал Василевский по-прежнему уделял большое внимание развитию организационной структуры вооруженных сил и их техническому оснащению. В первую очередь это касалось ядерного оружия. 29 августа 1949 г. в СССР было проведено первое ядерное испытание. Тогда же на Семипалатинском полигоне был осуществлен подрыв ядерного устройства, в результате которого произошел взрыв мощностью 22 килотонны. 18 октября 1951 г. на этом же полигоне был осуществлен воздушный ядерный взрыв. Одновременно велись работы по совершенствованию ядерных боеприпасов и созданию термоядерных зарядов.
Наряду с этим Василевский уделял большое внимание вопросам создания принципиально новых средств доставки ядерного оружия. Результаты летных испытаний ракеты Р-1 позволили правительству СССР 28 ноября 1950 г. принять ракетный комплекс с этой ракетой на вооружение. На основе опыта, полученного в ходе командноштабных учений и учебно-боевых пусков ракет, под руководством Генштаба были разработаны основы боевого применения ракетного оружия. В декабре на полигоне Капустин Яр формируется вторая по счету бригада особого назначения РВГК. В мае 1951 г. приказом Василевского вводится в действие первое наставление «Боевое применение бригады особого назначения РВГК, вооруженной ракетами дальнего действия». 27 ноября на вооружение была принята ракета Р-2. По указанию Василевского Генштаб провел расчеты потребности в ракетах на военное время. Эти расчеты и соображения 19 декабря были рассмотрены на заседании Бюро Совета Министров СССР, которое приняло решение о серийном производстве ракет. В 1952–1953 гг. были сформированы еще четыре бригады особого назначения РВГК.
Большое значение А. М. Василевский уделял оснащению войск ПВО новыми современными средствами. В августе 1950 г. началась разработка первого отечественного зенитно-ракетного комплекса «Беркут», который в последующем был принят на вооружение под индексом С-25. В 1952 г. Войска ПВО страны получили зенитные управляемые ракеты, что значительно повысило их боевые возможности и увеличило зону действия. 15 января Василевский подписал директиву о создании службы обнаружения, оповещения и наведения, для чего организовывалась единая радиолокационная система.