Историки утверждают, что в истории Франции не было ещё ни одного военного министра, который бы принимал руководство министерством в таких критических обстоятельствах. Поражения французских армий в Германии и Италии, гражданская война внутри страны, на границах коалиционные армии противника, отсутствие порядка и продовольствия, полная деградация власти, разложение армии и упадок духа у населения, — вот далеко не полный список проблем, перед которыми оказался Бернадот, когда принял портфель военного министра Франции. С другой стороны, в стране не было более подходящей фигуры для этой должности, и это хорошо понимал П. Баррас, питавший тайные надежды на то, что честный и неподкупный Бернадот справится со своими обязанностями и сумеет также взять под свой контроль непослушных и строптивых генералов, ковавших заговоры против Директории.
2 июля Бернадот приступил к исполнению своих обязанностей. С собой в министерство Жан Батист взял своих старых друзей и единомышленников: Жерара, Мэзона, Морэна, Сарразэна. Свояки Жозеф и Люсьен предприняли попытку продвинуть на ключевые посты военного ведомства своих людей с Корсики, но новый министр отбил все их атаки и сохранил за собой полную свободу действий. Если он кому и симпатизировал после переворота, то это были якобинцы типа Журдана, Ожеро и Шампионне.
На посту военного министра Бернадот пробыл всего два с половиной месяца. Что же удалось ему сделать за такое короткое время? Наполеон считал его деятельность сумбурной и дилетантской, «...он делал только ошибки, ничего не организовал, и Директория была вынуждена удалить его с поста ». Поль де Баррас, не самый жаркий почитатель Бернадота, придерживался на этот счёт другого мнения: «Бонапарт хочет принизить всё, чему он обязан Бернадоту. Он и его армия годами жили за счёт того, что он сделал за несколько месяцев...» Апологеты Карла XIV Юхана, наоборот, оценивают её лишь в самых хвалебных выражениях.
Современные историки полагают, что деятельность Бернадота как военного министра была полезной и честной, и этого нам вполне достаточно. Судить об её эффективности трудно, потому что плоды его трудов могли проявиться не сразу, а года через полтора-два. Но к тому времени на его месте были уже другие министры, в том числе недруг Бертье.
По мнению немецкого историка А. Имхофа, стиль работы нового военного министра был похож на стиль работы Л. Карно. Бернадот вставал каждый день в три часа утра и отправлялся на работу. В 4.00 он был уже на месте и работал до 19.00—20.00. От своих подчинённых он требовал работы с семи часов утра до десяти часов вечера. Тех, кто не справлялся со своими обязанностями или не выдерживал такой нагрузки, он нещадно увольнял. С первых же дней новый министр повёл жесточайшую войну с казнокрадами, ворами, взяточниками и прочими нечестными чиновниками, засевшими в министерстве. С приходом Бернадота в военное министерство суды стали принимать дела проворовавшихся интендантов. Он вступил в войну с бюрократией и пытался сделать так, чтобы все дела и бумаги были разобраны и на все входящие письма были даны ответы не позже суток после их поступления. Он потребовал от казны предоставить ему наличные денежные суммы, приступил к закупкам одежды и обмундирования и стал наводить порядок в интендантствах. В Египте находилась 30-тысячная армия республики, которую он предложил немедленно отозвать домой, а на границах страны от Балтики до Альп находились 260 000 человек. Всех их надо было обуть, одеть, накормить, снабдить амуницией, сформировать в новые боевые единицы. Он стал главным сержантом армии. «Дисциплина порабощённых народов зиждется на страхе, — утверждал он в циркуляре от 17 июля, — а у свободных народов — на убеждении ».
Дома после работы он почти всегда заставал у себя Жозефа с женой, но старший Бонапарт явно ошибался, если думал, что свояк будет плясать под дудку корсиканцев. Уже через месяц, 6 августа, он представил Директории доклад, содержавший анализ положения страны, состояния армии и перечень мер, которые было необходимо принять. Лейтмотивом доклада стало восстановление мощи армии, её удовлетворительное снабжение, вооружение и обучение.
Министр отправил в действующую армию на Рейн и в Италию линейные полки, которые трусливая Директория, опасаясь за свою власть и жизнь, стянула внутрь страны. Он установил тесный и перманентный контакт с властями в департаментах страны, вступил с ними в постоянную переписку, а когда и где было нужно, выезжал на места сам и своими зажигающими речами всегда способствовал успеху того или иного предприятия. В газетах Франции в этот период регулярно появлялись распоряжения военного министра, его приказы, памфлеты и статьи. Своей агитацией он хотел возбудить в стране старый якобинский дух, который увял за годы Директории.