В Ставрополе Дмитрий Алексеевич с радостью раскрывал письма родных, письма отца, брата Николая, письма сослуживцев… За несколько месяцев столько перемен, больших и малых, радостных, грустных, печальных. Отец мотался с дачи в Петровском парке, где он жил вместе с Владимиром, студентом юридического факультета Московского университета, в Москву, где лежал тяжелобольной младший Борис, ученик гимназии, навещал больного, а потом вновь погружался в служебную деятельность. Отец был членом Комиссии по строительству храма Христа Спасителя, приехавший в Москву Николай Первый ознакомился с работой и был очень доволен строительством храма, наградил членов Комиссии, князь Щербатов среди других весьма лестно отзывался о работе Алексея Милютина, отец получил 2 тысячи рублей серебром взамен ордена Святого Владимира 3-й степени. Но через месяц положение отца пошатнулось: на Комиссии обсуждали вопрос о предоставлении одному крупному подрядчику многомиллионной работы, отец возразил, считая, что этот подряд нанесет государству крупный ущерб. Члены Комиссии и председательствующий граф Строганов поддержали этот проект, после горячих прений отец подал письменный протест министру внутренних дел, взял отпуск и уехал в Петербург. Помощник попечителя Московского учебного округа Дмитрий Павлович Голохвастов (1795–1849) от имени членов Комиссии подал жалобу на Алексея Милютина за его «чрезмерную горячность и неуважительное отношение к присутствию Комиссии». Взаимные жалобы дошли до Николая Первого, который велел Комитету министров разобраться в этом сложном деле.
Добрые, сердечные письма Дмитрий Алексеевич получал от брата, Николая Алексеевича, который благодарил за частые письма и выражал самые радостные чувства, что у Дмитрия все хорошо складывается, в них он находит «светлую сторону той же медали, от которой вижу только темную сторону». Дела просто изнурили Николая, проект Положения о городском управлении был готов, одобрен министром и отправлен в высшие инстанции.
«Вокруг меня обыкновенные толки, вранье, глупости, суматоха, без цели и значения, – писал Николай Алексеевич брату 13 октября 1843 года. – У меня самого нескончаемые хлопоты, беспокойства, постоянное напряжение в голове и пустота на сердце… Всякий раз, узнавая из твоих писем, что ты счастлив и весел, я сам делаюсь счастлив и весел». В другом письме Николай Алексеевич, рассказывая о приезде отца и брата Владимира на каникулы в Петербург, высоко оценил характер и нравственные качества Владимира, «радуется, видя в нашем Володе юношу развитого умом и сердцем». «Хотя на стороне отца правда и закон, однако ж ему трудно оставаться на своем месте, чем бы ни кончилось официально дело», – писал Николай Алексеевич 10 января 1844 года. Тем более и высокие родственники, граф Павел Дмитриевич Киселев и Сергей Дмитриевич Киселев, понимая всю тщетность усилий Алексея Михайловича, ничего не могли сделать, тем более полагая, что он затеял дело не по силам и без достаточных оснований. Граф Павел Дмитриевич кое-что сделал для умиротворения сторон, но считает, что Милютин при своем добросовестном намерении избрал не тот ход: «Протестовать против зла должно, но более того – считаю излишним. По крайней мере, мне так кажется». Не та обстановка в обществе, где все подчиняется одной царской воле, а тут какой-то член Комиссии поднимает голос против всех членов и самого попечителя Московского учебного округа графа Строганова, думал Дмитрий Алексеевич, знакомясь с письмами своих родных. А письма лишь подтверждали и его собственные раздумья о своем времени, об обществе, о своем месте в этом мире.
Комитет министров, не входя в обсуждение взаимных жалоб членов Комиссии, решил уволить действительного статского советника A.M. Милютина от должности без содержания. Отец был крайне огорчен и возмущен. Ведь он только что получил высокую награду в 2 тысячи рублей, князь Щербатов хорошо говорил о нем Николаю Первому, и такая несправедливость…