Время работы над «Моими воспоминаниями» – зима 1871/72–1878 гг. Мемуары А. И. Дельвига были начаты им с тем, чтобы по достижении старости перечитывать вместе с женой «некоторые из описанных в них эпизодов». Но, пишет он в завершение последней, XII главы, «лишившись моего друга в 1878 году, я потерял охоту их писать». После увольнения из Министерства путей сообщения в 1871 г. оказавшегося не у дел А. И. Дельвига как опытнейшего практика и руководителя наперебой приглашают участвовать в масштабных начинаниях, таких как устройство Морского канала и порта, строительство новых ветвей железной дороги по проекту инженера Н. И. Путилова, организация работы путиловских заводов в качестве члена совета общества этих заводов, усовершенствование водопровода в Москве и других городах и проч. Долгие годы близкий к властным структурам, хорошо знакомый со многими их представителями и привыкший отдавать себе отчет в том, каковы истинные мотивы действий того или иного руководителя, предпринимателя, промышленника или банкира, Дельвиг начинает писать воспоминания, в которых ведет подробный рассказ о событиях прошедших лет, а также о пережитых им мыслях и чувствах. Он с удивительной и не так уж часто встречающейся прямотой и честностью рассказывает о литературном окружении известного русского поэта Антона Дельвига, а также о многих выдающихся людях своего времени, к которым относятся, например, литераторы А. С. Пушкин, В. А. Жуковский, Е. А. Баратынский, П. Я. Чаадаев, М. Ю. Лермонтов (и его дуэлянт Н. С. Мартынов), П. А. Плетнев, Н. А. Некрасов, А. И. Герцен, Н. П. Огарев, И. С. Аксаков, П. И. Мельников-Печерский; декабристы И. Д. Якушкин и С. И. Муравьев-Апостол, анархист М. А. Бакунин, фабриканты/купцы Н. И. Путилов, Т. С. Морозов, С. И. Мамонтов и А. Крупп; лейб-медик С. П. Боткин, московский генерал-губернатор А. А. Закревский, основоположник раннего славянофильства А. С. Хомяков, русский географ и путешественник П. А. Чихачёв, министр юстиции граф К. И. Пален, председатель Комитета железных дорог граф С. Г. Строганов; военный министр Д. А. Милютин, министр народного просвещения граф Д. А. Толстой, фельдмаршал и наместник в Царстве Польском граф Ф. Ф. Берг, статс-секретарь и член Государственного Совета князь С. А. Долгорукий, шеф жандармов граф П. А. Шувалов, министр внутренних дел A. Е. Тимашев и, наконец, сам император Александр II. Как на прошлом, так и на настоящем останавливает свой внимательный, независимый, порой насмешливый взгляд автор «Моих воспоминаний». Так, в 1873 г. в «Петербургских ведомостях» был опубликован высочайший рескрипт на имя министра народного просвещения графа Д. А. Толстого и тут же подвергся резкой критике А. И. Дельвига. «По редакции рескрипта можно подумать, что он писан учеником низших классов среднего учебного заведения… Государь в такой степени печется о народных школах, что призывает свое верное дворянство… стать на стражу (!) народной школы… Но неужели Государю неизвестно, что народных школ почти нет в России?.. И где те несчастные школы, которые, не будучи под бдительным наблюдением дворянства… уже обнаружили попытки к нравственному растлению народа?.. И к чему столь гласно заявлять о своем сомнении в преданности других сословий?.. Подобные воззвания делались только или по случаю угрожавшей опасности государству, или в весьма важных делах. Я припоминаю три подобные воззвания… Но неужели народные школы, которых почти не существует, уже представляют такую опасность, как нашествие 1812 года или заговоры, открытые в 1825 году?.. Рескрипт, данный Толстому, я не могу себе объяснить иначе, как желанием шефа жандармов и вместе шефа ретроградной партии графа Петра Андреевича Шувалова заставить Государя, уничтожившего крепостное право, учредившего новые улучшенные суды, давшего некоторую свободу печати и вообще поднявшего дух народа от тяготевшего над ним душевного и телесного рабства, сделать новый шаг на пути к реакции».
Постоянное с 1875 г. ухудшение здоровья жены Эмилии Николаевны и сестры Александры, двух самых близких ему людей, заставляет Андрея Ивановича надолго, иногда на 10 месяцев, откладывать перо. В конце декабря 1877 г. смерть настигает сестру, а в начале января 1878 г. – жену Дельвига. После рассказа об этих горестных потерях он доводит повествование до возвращения семьи из-за границы в 1876 г., на этом заканчивает свои воспоминания и лишь вносит отдельные исправления и дополнения в уже написанное. Например, в конце VII главы есть замечание: «…я не могу не гордиться проектированием и приведением в исполнение столь благодетельного для Москвы сооружения, дешевизна устройства которого несомненна, а прочность доказана существованием его до сего времени (1881 г.) без исправлений».