Анне Алексеевне Толстой казалось, что она живет интересами сына. Она хлопотала о его придворной карьере и благосостоянии, упивалась почтительностью и послушанием Алексея, ревниво относилась к любому его увлечению - будь то стихи или женщина. Ей хотелось, чтобы сын, пользуясь своим общественным положением «друга наследника престола», делал карьеру.
Жизнь Алексея Толстого до определенного возраста просматривается словно сквозь золотистую дымку. Все теряется в благополучии или, как он сам выражался, во «внешних событиях», а о «жизни внутренней» приходится лишь догадываться.
Отец дал ему графский титул. Дядя Алексей Перовский оставил громадное состояние - более трех тысяч крепостных в Черниговской губернии. Мать избавила его от хозяйственных забот, взяв на себя управление имениями. С помощью влиятельных братьев она старалась преумножить состояние, пускаясь в рискованные финансовые операции, «участвуя в золотых промыслах Оренбургской губернии».
Анна Алексеевна пыталась приохотить сына к своей деятельности, но он не проявлял к этому никакого интереса и навсегда остался человеком непрактичным.
Если судить по «Списку чинам II отделения Собственной Его Императорского Величества канцелярии», занимавшейся подготовкой различных законов и указов, то Алексея Толстого в это учреждение определили в 1841 году младшим чиновником в чине губернского секретаря. Служил он без рвения, сразу разобравшись, что инициатива не только не поощрялась, но во многих случаях была даже наказуема. Громоздкий административный аппарат империи был проникнут духом равнодушия и неприязнью к каким бы то ни было переменам.
Толстого охотно отпускали в поездки по стране и за границу, и если возникало желание поохотиться, то в Красный Рог из Петербурга летело письмо с просьбой к матери выхлопотать у главноуправляющего II отделением графа Д.Н. Блудова внеочередной отпуск: «Матушка, прикажите мне к Вам приехать!»
И где бы он ни был, за ним следило недреманное око родственников. Лев Алексеевич Перовский, назначенный министром внутренних дел, опекал его в Петербурге. Василий Алексеевич - в Оренбурге...
Их заботами Алексея Толстого повышали в чинах при всяком удобном случае. Следовали «Всемилостивейшие пожалования» в коллежские секретари и титулярные советники (1842), в коллежские асессоры (1845), в надворные советники (1846), в коллежские советники (1852).
Кроме того, в 1843 году Толстой получил придворное звание камер-юнкера.
Осенью того же года он анонимно напечатал в «Листке для светских людей» стихотворение «Серебрянка» («Бор сосновый в стране одинокой стоит...»). В последующие десять с лишним лет он не опубликовал ни одного своего стихотворения ни под псевдонимом, ни под собственным именем.
Были попытки публиковать прозу в литературных сборниках «Вчера и сегодня», составлявшихся графом В.А. Соллогубом. Рассказ «Артемий Семенович Бервенковский» (о встрече в пути с помещиком, увлекающимся механикой, строящим вечные двигатели и нелепейшие приспособления) оказался явным подражанием Гоголю и единственной пробой пера в духе «натуральной школы». Отрывок из несохранившегося романа «Стебеловский» под названием «Амена» был назван Белинским «скучной статьей», чем-то «вроде неудачного раздражения мысли, взятой в плен из сочинений Шатобриана». Критик намекал на «Мучеников» французского писателя, тоже сталкивавшего умирающий языческий мир с торжествующим христианством. Здесь несомненно одно - великолепная эрудиция Толстого...
Казалось бы, дарование, обещанное в «Упыре» и замеченное Белинским, не развивается, а раннее стихотворение Толстого «Поэт» - лишь набор громких фраз.
Создается впечатление, что «спокойный ток жизни» его вполне устраивает и он охотно подчиняется настояниям матери и дядюшек не слишком увлекаться литературными занятиями, накапливать светские знакомства и уделять больше внимания делаемой ему карьере. Время от времени родственники хлопочут о предоставлении ему длительных отпусков за границу. Мать по-прежнему не выпускает его из поля зрения. Здоровье ее пошатнулось, она требует ежечасной сыновней заботы. Так, в мае 1846 года Алексей Толстой «с соизволения Его Императорского Высочества Наследника Цесаревича получил шестимесячный отпуск за границу для сопровождения матери, отправлявшейся туда по болезни».