Война кровавым катком прокатилась и по его семье. Настоящий патриот, Алексей Николаевич отправил на войну обоих сыновей – Николая и Петра. Он писал им строки, которые поражают и сегодня: «Будьте храбры, никуда не напрашивайтесь, но никогда не отказывайтесь, если вас куда посылать будут, хотя бы вы видели перед собою неизбежную смерть, ибо, как говорят простолюдины, “двух смертей не бывает, а одной не миновать”. Я и сам так служил и служить еще буду, если нужда того востребует». Его сыновьям тоже было суждено войти в великую русскую литературу. И Николай, и Петр Оленины участвовали в Бородинском сражении. Петр был ранен пролетевшим около головы ядром, «его сочли убитым». Лишь позже выяснилось, что младший Оленин лишь контужен. Старшего, Николая, убило ядром, которое вырвало у него сердце. Алексей Николаевич был раздавлен горем и поставил сыну памятник в саду. Лев Толстой – родственник Оленина – в «Войне и мире» запечатлел это в образе убитого горем князя Болконского, который также ставит сыну памятник…
Вернуться к жизни Алексею Николаевичу помогла наука. Знаменитый немецкий географ Александр фон Гумбольдт, посетив Петербург, написал, что Алексей Оленин – «единственный универсальный ученый в России». Все дело в том, что все это время, насыщенное очень активной общественной деятельностью, Оленин еще и занимался историей, археологией, эпиграфикой. Его заслуженно считают одним из основателей русской археологии. Помимо работы над научными трудами, Алексей Николаевич выступает еще и как великолепный организатор. Это ему мы обязаны первой длительной археографической экспедицией по России, сохранившей для нас множество древностей, которые иначе были бы навсегда утрачены. Задачей экспедиции были поиски старинных грамот и одежд и зарисовка древних строений и изваяний. За полтора года ученые посетили Старую Ладогу, Белозерск, Вологду, Киев, Чернигов и многие другие древние города. Оленин, используя свое влияние, добился и выделения денег на еще одну экспедицию: его ученик Ф. Г. Солнцев – сын крепостного и выпускник Академии художеств – отправился в поездку по России, собирая и кропотливо зарисовывая русские исторические и палеоэпиграфические древности. Одним из важнейших итогов этой экспедиции стало открытие фресок киевской Софии.
В 1812 году А. Н. Оленин получил повышение: он стал членом и секретарем Государственного совета. Именно в это время он начал подписываться через «О». Следом за ним переменила фамилию и вся родня. Спустя несколько лет Оленин получает новый пост – президента Академии художеств. Та была в еще более плачевном состоянии, чем библиотека. Настоящие развал и разруха: студенты оборваны и голодают, здание в аварийном состоянии и может вот-вот разрушиться. У академии были огромные долги. А вот бывшие управленцы разбогатели. А. Н. Оленин добился, чтобы выделили средства на ремонт и благоустройство, стал продавать копии работ известных мастеров, сделанные учениками, накупил хороших красок и других материалов. В залах установил закупленные за границей копии с античных скульптур, чтобы ученики копировали и срисовывали шедевры античного искусства, – в полном соответствии с предписаниями его кумира И. И. Винкельмана. Академия при Оленине расцвела. Его ученик, художник Ф. Г. Солнцев, вспоминал: «При всем том, справедливость требует упомянуть, что Алексей Николаевич не пользовался расположением своих подчиненных, почему – решительно недоумеваю».