21 декабря 1810 г. Лас Каз, благодаря поддержке Жозефины, назначается камергером, а 27 апреля 1810 г. — докладчиком в Государственном совете. В день рождения Наполеона (1810 г.) Лас Каз был пожалован в графы Империи. В 1810–1812 гг. Лас Каз выполнял ряд важных дипломатических и военных поручений в Голландии, Иллирии и на западном побережье Империи.
В 1814 г. Лас Каз отказался поставить свою подпись под актом Государственного совета, отрешавшим Наполеона от власти, и протестовал против помещения в одной из газет списка представителей дворянства, требовавших реставрации королевского режима (в этом списке значилась и фамилия Лас Каза). С возвращением Бурбонов Лас Каз оказался не у дел и уехал в Англию, но с воцарением Наполеона в 1815 г. он вновь возвращается в Париж, становится камергером и назначается государственным советником. После Ватерлоо, оставшись верным отрекшемуся императору, Лас Каз просит у Наполеона разрешения сопровождать его в изгнание. "Если вы согласитесь выполнить мою просьбу, — сказал Лас Каз Наполеону, — мое самое горячее желание будет удовлетворено" (Las Casas. Memoires… P. 1. 13). Оставив семью — жену и детей (кроме старшего сына, которого взял с собой), — Лас Каз отправляется с Наполеоном в Рошфор, где вместе с преданными Наполеону генералами Савари и Лаллеманом ведет переговоры с командованием английских кораблей, стремясь получить разрешение на отъезд в Америку.
На острове Св. Елены, точнее, уже на пути к нему Лас Каз весьма быстро становится одним из самых доверенных лиц Наполеона. Он начинает вести записки, названные им впоследствии "Мемориал Святой Елены".
То обстоятельство, что Лас Каз далеко не сразу стал пользоваться влиянием при дворе Наполеона, не был честолюбив и оставался чужд придворных интриг, а также не принадлежал к политическим. партиям, придает труду мемуариста изрядную долю объективности. В пользу Лас Каза говорит и то, что его отличало подробное знание императорского двора и, когда Наполеон называл ему то или иное лицо, говорил о том или ином событии, для Лас Каза слова императора тотчас же облекались во вполне конкретные и ясные понятия. Но Лас Каз не просто переписывал разговоры Наполеона с его людьми; одни слова и суждения он передавал в изложении, другие цитировал дословно, "выхватывая" то, что, по его мнению, имело особую историческую значимость. Надо было обладать цепкой памятью и большой работоспособностью, чтобы после часовых бесед с императором в уединении воспроизвести речь собеседника, не искажая ее. Лас Каз не только записывает мысли и суждения императора, он пишет под диктовку отдельные фрагменты его мемуаров, например изложение Итальянской кампании 1796 г. Для этого Лас Казу пришлось изобрести род стенографического письма — Наполеон, как известно, диктовал быстро, не заботясь при этом, поспевают ли за ним секретари. Отредактированные листы записей, разговоров с императором и расшифрованные диктовки Наполеона Лас Каз отдавал вечером своему сыну или лакею Наполеона Али, которые переписывали их набело. Утром следующего дня Лас Каз передавал переписанное Наполеону, который просматривал, редактировал, вносил уточнения.
Насколько был точен мемуарист, когда он передавал разговоры Наполеона, мимоходом оброненные им фразы или монологи, прямой политический расчет которых порою весьма очевиден? Этот вопрос всегда волновал историков, в особенности тогда, когда еще не вышли в свет "Повествование об изгнании" Монтолона (Montholon Ch. J. F. Recits de la captivite de 1'Empercur Napoleon a Sainte-Helene. Paris. 1847. Vol. 1–2), "Дневник" Гурго (Gourgaud G. Sainte-Helene. Journal inedite de 1815'а 1818. Pans. 1899. Vol. 1–2) и "Памятные записки" Бертрана (Bertrand H. Gr. Cahierc %1? Sainte-Helene. Journal du Grand Marechal Bertrand. Paris. 1959). Теперь уже невозможно сомневаться в подлинности слов, приписываемых Лас Казом Наполеону, ибо те же беседы возобновлялись, те. же мысли возникали: вновь и получали дальнейшее развитие на страницах записок других членов свиты Наполеона на острове Св. Елены.