В Павловке они благоустраивали старый дом с мезонином, сложенный из дубовых брусьев. К нему примыкал большой луг, где было решено устроить «английский сад». По семейному преданию, сделали это таким забавным способом: Жемчужников сел верхом на палочку, а супруга его говорила, идя следом:
— Направо, налево, теперь сюда, прямо...
По следам этой палочки и были разбиты аллеи и дорожки.
В архиве Алексея Михайловича Жемчужникова сохранилась «Памятная книжка» с детскими и юношескими стихами младших Жемчужниковых на французском и русском языках, их поздравлениями в дни именин отца и матери, французскими стихами, сочиненными Ольгой Алексеевной. Все это переписано на память из детских альбомов, дополнено ранними стихотворениями самого Алексея Михайловича и рисует весьма отрадную картину ладной жизни Жемчужниковых. О семейных датах никогда не забывали, поздравляли друг друга сердечно и всякий раз с выдумкой, хотя дат этих, судя по сохранившемуся списку17, было немало.
Одиннадцатилетний Алексей в 1832 году поздравлял отца с именинами:
«В сей день, для нас столь драгоценный, прими, друг Па пинька почтенный, прими от чистых душ внушенье, торжественно благодаренье, и вместе с ним обет святой: стремиться к цели нам драгой стезей, тобою проложенной, твоим примером освященной!.. Клянемся жизнью оправдать твои благие наставленья, и тем, за многи попеченья, как надо, долг тебе отдать»8.
М. Н. Жемчужников вернулся на службу и был определен в корпус жандармов, а через несколько лет произведен в полковники. Служба его протекала в Орле, где он составил репутацию честного и справедливого человека.
Он стал известен и в Петербурге благодаря нашумевшему тогда «Подымовскому делу».
Как-то раздавая лакомства детям из приходского училища, Жемчужников случайно узнал у одного из них, что некий дворянин Подымов после смерти брата, женатого на собственной крепостной, оттягал у вдовы по суду имение, пустив ее с тремя детьми по миру. Взявшись расследовать обстоятельства этого дела, Жемчужников изобличил в мошенничестве и взяточничестве не только судейских, но и местного архиерея со священниками, похерившими, не без выгоды для себя, церковные записи о венчании Подымова на крепостной. Все участники мошенничества, в том числе и епископ, были наказаны. Сыновья Жемчужникова с гордостью вспоминали об этом деле отца9.
У Жемчужникова всегда были с детьми понимание и доверие. Он воспитывал у них страстное желание бороться с несправедливостью и произволом. Часто рассказывал им о своем адъютанстве у Аракчеева.
«Нередко слыхивал я в детские лета рассказы о творце военных поселений. Вот он действительно казарменный был гений... Дух аракчеевский, дух дикий произвола, средь детских игр пугал меня не раз», — писал Алексей Жемчужников много лет спустя, а Владимир Жемчужников вспоминал рассказы отца о том, как тому довелось встретиться с родным братом всесильного Аракчеева :
«После кампании за границей, отец мой квартировал с своею батареей в западной России, переходя из города в город, из местечка в местечко.