19 лет он поступил в австрийский гусарский полк «кадетом», как называли в Австрии юнкеров, рассчитывая быстро сделать карьеру, так как Австрия находилась тогда в войне с Пруссией за баварское наследство. Но война закончилась почти тотчас же после поступления Гнейзенау на службу. Находясь в отпуску, Гнейзенау участвует в дуэли с печальным исходом, за которую ему могло достаться от военного начальства. Тогда, не соблюдая всех положенных формальностей, Гнейзенау раскланивается с австрийской армией и предлагает свои услуги, уже в качестве знакомого с военным делом молодого офицера, маркграфу анспах-байрейтскому, одному из тех мелких немецких князьков, которым война Соединенных Штатов за независимость открыла новые источники дохода — поставку пушечного мяса Англии.
Гнейзенау принят на службу в егерский батальон и работает над своим военным образованием. Мы можем заключить о том, что он не был обыкновенным беспутным малым и что у него были более широкие интересы, по его сохранившемуся неплохому стихотворению 1781 года: «На смерть Лессинга». Очередь отправления в Америку доходит до него только в 1782 году, к самому шапочному разбору; сражаться ему уже не пришлось, так как понесенные английской армией неудачи заставили Англию признать независимость Соединенных Штатов.
По возвращении в 1783 году, Гнейзенау несколько лет служит в Байрейте, в пехотном полку, и завоевывает себе в небольшом городке всеобщие симпатии. По свидетельству Александра Гумбольдта, посетившего Байрейт в 1796 году, местные жители еще через десять лет после отъезда Гнейзенау с интересом вспоминали о нем.
Но служба в маленьком гарнизоне не удовлетворяет Гнейзенау, несравненно более образованного, чем его товарищи; он изучает науки, требующиеся для военного инженера и офицера генерального штаба, и обращается к Фридриху II, приступившему к формированию королевской свиты по генерал-квартирмейстерской части, с предложением своих услуг. Фридрих II соглашается и предлагает ему явиться в Берлин. Но Гнейзенау, уволившийся из анспахских войск, не понравился Фридриху II при личном представлении; Фридрих II обладал удивительной способностью браковать каждого сколько-нибудь талантливого человека. Прусский король обманул Гнейзенау и принял его в прусскую армию, но не в генеральный штаб, а младшим офицером в пехотный полк, расположенный в глухом силезском гарнизоне.
С 1786 года Гнейзенау на 20 лет погряз в скромном существовании маленького гарнизона. В Силезии Гнейзенау женился — так же молниеносно, как делал все в жизни. Его приятель, жених «хорошенькой Котвиц», бойкой помещичьей дочки, был убит на дуэли, и на Гнейзенау, бывшего секундантом, выпал тяжелый долг сообщить невесте это горестное известие. «Хорошенькая Котвиц» пришла в такое отчаяние, что Гнейзенау почувствовал необходимость утешить ее и, не зная ни в чем предела, тут же предложил ей свою руку и сердце.
К моменту катастрофы прусского государства 46-летний Гнейзенау дослужился уже до чина капитана, командовал батальоном, имел пятерых детей и ожидал рождения шестого, читал агрономические труды и деятельно управлял небольшим имением жены.
С этого времени начинается резкий сдвиг в развитии Гнейзенау. Суждения его в начале кампании 1806 года, в противоположность высказываниям Клаузевица, отличались большой зрелостью. Летом 1806 года он записал: «У нас господствует большое недовольство миром. Справедливо ли? Это большой вопрос. Кто бы мог сказать, какой ход приняли бы события при противоположной политике?» Мобилизация вызвала у него замечание: «поздно, быть может не слишком поздно». Перед самой катастрофой он писал: «Со стороны я вздыхаю. Много времени упущено, занимались мелочами, давали представления публике, а весьма серьезное дело — подготовку к войне— забыли. Дух офицеров превосходен, на этом можно строить большие надежды, но… Что будут делать французы дальше, я знаю. Но что я буду сам делать, мне неизвестно. Я отчетливо представляю наступление французов вдоль реки Заалы. Но я сижу в низших чинах, и мое слово не имеет цены. У меня щемит сердце, когда я представляю себе последствия. Отечество, избранное мною отечество! Я забыт в своем маленьком гарнизоне и лично могу только драться, но не советовать».
Гнейзенау участвовал в первом же бою этой кампании, под Заальфельдом. При отступлении, прикрывая батарею, батальон Гнейзенау сражался не по уставу — не в сомкнутом развернутом строю, а по-новому — весь рассыпанный в цепь против французских стрелков. Это свидетельствует, что поездка Гнейзенау в Америку не пропала даром, и он не только усвоил американские передовые взгляды на тактику пехотного боя, но и соответственно подготовил свой батальон, забежав совершенно самостоятельно далеко вперед устава.
В бою под Заальфельдом Гнейзенау был ранен и должен был сдать командование батальоном. Уехать для лечения в тыл ему не удалось — катастрофа застигла его раньше. Раненый Гнейзенау в день сражения под Йеной и при отступлении выполняет обязанности офицера генерального штаба при штабе армии.