После Восточной войны начинается блестящая административная карьера Аркадия Дмитриевича. Сначала талантливого офицера-артиллериста император Александр II (вообще ценивший людей незаурядных) делает своим флигель-адъютантом, а в 1857 году назначает наказным атаманом Уральского казачьего войска. А. Столыпин много сделал для освоения этого тогда еще во многом дикого края и за отличие по службе в 1859 году награждается званием генерал-майора с оставлением в царской свите. В 1868 году наказной атаман становится генерал-лейтенантом с оставлением по конной артиллерии, а в следующем — оставляет военную службу и назначается шталмейстером двора (это было одно из самых высоких придворных званий). В это же время Столыпин продает подмосковное имение Середниково и переезжает в имение Колноберже под Ковно (сейчас Каунас, Литва). О том, как Аркадием Дмитриевичем было получено имение, дочь Петра Аркадьевича Мария фон Бок позже рассказывала следующее: «Его родственник Кушелев, проиграв ему в яхт-клубе значительную сумму денег, сказал: денег у меня столько свободных нет, а есть у меня небольшое имение в Литве, где-то около Кедайн (теперь Кедайняй), сам там никогда не был. Хочешь, возьми его себе за долг. Так и стало принадлежать нашей семье милое Калнабярже, унаследованное потом моим отцом».
Через несколько лет, во время Русско-турецкой войны 1877–1878 годов, генерал вновь возвращается в строй. Как рассказывали очевидцы, когда император проезжал через Вильно и увидел на вокзале встречавшего его Столыпина в расшитом золотом шталмейстерском мундире, между ними произошел следующий диалог:
— Как грустно мне видеть тебя не в военной форме.
— Буду счастлив ее надеть, Ваше Величество.
— Тогда назначаю командовать корпусом действующей армии.
И вскоре Аркадий Дмитриевич отправляется на театр военных действий, где он особенно отметился во время взятия крепости Никополь, первым комендантом которой он и стал. Следует особо отметить, что на войне генерала сопровождала его супруга Наталия Михайловна Горчакова, самоотверженно исполнявшая в госпиталях обязанности сестры милосердия. После победы над турками Столыпин назначается генерал-губернатором Восточной Румелии и Адрианопольского санджака, позже командует несколькими армейскими корпусами, а потом, до самой смерти, он был заведующим Дворцовой частью в Москве (то есть фактически комендантом Московского Кремля).
В общем, Петру Аркадьевичу было кем гордиться из своих родичей и было с кого брать пример в служении Отчизне. Остается добавить разве что еще только один штрих. Кого бы мы ни взяли из предков Столыпина, в подавляющем большинстве это были люди глубоко православные, для которых жизнь без веры была невозможна, а государственное служение одновременно считалось и служением Богу. Показателен в этом плане и фамильный герб рода Столыпиных, описание которого приведем из утвержденного указом императора Павла I «Общего Гербовника дворянских родов Всероссийской Империи»: «В щите, имеющем в верхней половине красное поле, а в нижней — голубое, изображен одноглавый серебряный орел, держащий в правой лапе свившегося змея, а в левой — серебряную подкову, с золотым крестом. Щит держат два единорога. Под щитом девиз: "DEO SPES МЕА"».
В переводе с латыни «DEO SPES МЕА» значит «Бог — моя надежда». В самое тяжелое время именно вера помогала Столыпину не отчаиваться и выполнять свой долг несмотря ни на что.
Думается, что особую стойкость Столыпину придавало то, что по линии матери он был прямым потомком одного из первых и наиболее почитаемых русских святых — святого благоверного князя Михаила Черниговского (мощи которого покоятся в Успенском соборе Московского Кремля). Петр Аркадьевич глубоко чтил своего святого предка из правящего рода Рюриковичей, который был для него образцом не только христианина, но и государственного деятеля.
В 1225 году Михаил был приглашен на княжение в Новгород, но правил там недолго и возвратился в Чернигов. На уговоры остаться он отвечал, что жители Чернигова и Новгорода — братья, и он будет укреплять связывающие их узы. С 1235 года Михаил занимал великокняжеский стол в Киеве и делал всё возможное для противостояния нашествию монголо-татар. В том числе он пытался добиться военной помощи у венгерского короля Белы IV, но тот остался равнодушным к мольбам братьев-христиан. Как, впрочем, остались равнодушны также германский император и папа римский, у которых в 1245 году безуспешно просил помощи киевский князь.