«Бабушка, Пелагея Николаевна, была дочь скопившего себе большое состояние слепого князя Николая Ивановича Горчакова. Сколько я могу составить себе понятие о ее характере, она была недалекая, малообразованная, — она, как все тогда, знала по-французски лучше, чем по-русски (и этим ограничивалось ее образование), и очень избалованная сначала отцом, потом мужем, а потом, при мне уже, сыном — женщина...
Дед мой, Илья Андреевич, ее муж, был тоже, как я его понимал, человек ограниченный, очень мягкий, веселый и не только щедрый, но бестолково-мотоватый, а главное — доверчивый. В имении его, Белевского уезда, Полянах, — не Ясной Поляне, но Полянах, — шло долго не перестающее пиршество, театры, балы, обеды, катания, которые, в особенности при склонности деда играть по большой в ломбер и вист, не умея играть, и при готовности давать всем, кто просил, взаймы и без отдачи, а главное, затеваемыми аферами, откупами, кончились тем, что большое имение его жены все было так запутано в долгах, что жить было нечем, и дед должен был выхлопотать и взять, что ему было легко при его связях, место губернатора в Казани.
Дед, как мне рассказывали, не брал взяток, кроме как с откупщика, что было тогда общепринятым обычаем, и сердился, когда их предлагали ему. Но бабушка, как мне рассказывали, тайно от мужа брала приношения».
Граф Илья Толстой, промотав как свое весьма солидное состояние, так и состояние жены, сохранил легкость в отношении к деньгам и на губернаторском посту. Губернаторство Ильи Андреевича кончилось скверно — специальная сенатская комиссия занялась проверкой его счетов. По официальной версии граф заболел от расстройства, вызванного проверкой, и вскоре скончался. По неофициальной — он покончил с собой, чтобы избежать позора.
Его сын Николай пытал счастья на военном поприще, но не очень удачно — 14 марта 1819 года он был уволен по болезни в отставку с присвоением чина подполковника. В грозном 1812 году Николай начал службу гусарским корнетом, в скором времени стал адъютантом генерала Горчакова, своего близкого родственника по матери, но затем попал в плен к французам и был освобожден лишь в 1815 году после вступления войск союзников в Париж. Сделать значимую карьеру не удалось. Не видя никаких перспектив в продолжении службы, Николай Толстой вышел в отставку и поселился с родителями (отец его тогда еще был жив) в Казани.
В семье Толстых с детства воспитывалась бедная сиротка из дальних родственниц по линии Горчаковых — Татьяна Александровна Ергольская, которая росла вместе с Николаем и его сестрами Александрой и Пелагеей.
Вот как вспоминал о Татьяне Ергольской сам Лев Толстой: «Третье, после отца и матери, самое важное в смысле влияния на мою жизнь, была тетенька, как мы называли ее, Татьяна Александровна Ергольская. Она была очень дальняя по Горчаковым родственница бабушки. Она и сестра ее Лиза, вышедшая потом за графа Петра Ивановича Толстого, остались маленькими девочками, бедными сиротками от умерших родителей. Было еще несколько братьев, которых родные кое-как пристроили. Девочек же порешили взять на воспитание знаменитая в своем кругу в Чернском уезде и в свое время властная и важная Тат. Сем. Скуратова и моя бабушка; свернули билетики и положили под образа; помолившись, вынули, и Лизанька досталась Тат. Сем., а черненькая бабушке. Таничка, как ее звали у нас, была одних лет с отцом, родилась в 1795 году и воспитывалась совершенно наравне с моими тетками и была всеми нежно любима, как и нельзя было не любить ее за ее твердый, решительный, энергичный и, вместе с тем, самоотверженный характер. Очень рисует ее характер событие с линейкой, про которую она рассказывала нам, показывая большой, чуть не в ладонь, след обжога на руке между локтем и кистью. Они детьми читали историю Муция Сцеволы и заспорили о том, что никто из них не решился бы сделать то же. “Я сделаю”, — сказала она. “Не сделаешь”, — сказал Языков, мой крестный отец, и, тоже характерно для него, разжег на свечке линейку так, что она обуглилась и вся дымилась. “Вот приложи это к руке”, — сказал он. Она вытянула голую руку, — тогда девочки ходили всегда декольте, — и Языков приложил обугленную линейку. Она нахмурилась, но не отдернула руки, застонала она только тогда, когда линейка с кожей отодралась от руки. Когда же большие увидали ее рану и стали спрашивать, как это сделалось, она сказала, что сама сделала это, хотела испытать то, что испытал Муций Сцевола.
Такая она была во всем решительная и самоотверженная.
Должно быть, она была очень привлекательная со своей жесткой черной, курчавой, огромной косой, агатово-черными глазами и оживленным, энергическим выражением. В. И. Юшков, муж тетки Пелагеи Ильиничны, большой волокита, часто уже стариком, с тем чувством, с которым говорят влюбленные про прежний предмет любви, вспоминал про нее: «Toinette, oh, elle etait charmant!» 1e.