Дед мой был человек пылкий и жестокий. Первая жена его, урожденная Воейкова, умерла на соломе, заключенная им в домашнюю тюрьму за мнимую или настоящую ее связь с французом, бывшим учителем его сыновей, и которого он весьма феодально повесил на черном дворе. Вторая жена его, урожденная Чичерина, довольно от него натерпелась. Однажды велел он ей одеться и ехать с ним куда-то в гости. Бабушка была на сносях и чувствовала себя нездоровой, но не смела отказаться. Дорогой она почувствовала муки. Дед мой велел кучеру остановиться, и она в карете разрешилась — чуть ли не моим отцом. Родильницу привезли домой полумертвую и положили на постелю всю разряженную и в бриллиантах. Всё это знаю я довольно темно. Отец мой никогда не говорит о странностях деда, а старые слуги давно перемерли.
Родословная матери моей еще любопытнее. Дед ее был негр, сын владетельного князька. Русский посланник в Константинополе как-то достал его из сераля, где содержался он аманатом, и отослал его Петру Первому вместе с двумя другими арапчатами. Государь крестил маленького Ибрагима в Вильне, в 1707 году, с польской королевою, супругою Августа, и дал ему фамилию Ганибал. В крещении наименован он был Петром; но как он плакал и не хотел носить нового имени, то до самой смерти назывался Абрамом. Старший брат его приезжал в Петербург, предлагая за него выкуп. Но Петр оставил при себе своего крестника. До 1716 году Ганибал находился неотлучно при особе государя, спал в его токарне, сопровождал его во всех походах; потом послан был в Париж, где несколько времени обучался в военном училище, вступил во французскую службу, во время испанской войны был в голову ранен
После смерти Петра Великого судьба его переменилась. Меншиков, опасаясь его влияния на императора Петра II, нашел способ удалить его от двора. Ганибал был переименован в майоры Тобольского гарнизона и послан в Сибирь с препоручением измерить Китайскую стену. Ганибал пробыл там несколько времени, соскучился и самовольно возвратился в Петербург, узнав о падении Меншикова и надеясь на покровительство князей Долгоруких, с которыми был он связан. Судьба Долгоруких известна. Миних спас Ганибала, отправя его тайно в ревельскую деревню, где и жил он около десяти лет в поминутном беспокойстве. До самой кончины своей он не мог без трепета слышать звон колокольчика. Когда императрица Елисавета взошла на престол, тогда Ганибал написал ей евангельские слова: «Помяни мя, егда приидеши во царствие свое». Елисавета тотчас призвала его ко двору, произвела его в бригадиры и вскоре потом в генерал-майоры и в генерал-аншефы, пожаловала ему несколько деревень в губерниях Псковской и Петербургской, в первой Зуево, Бор, Петровское и другие, во второй Кобрино, Суйду и Тайцы, также деревню
В семейственной жизни прадед мой Ганибал так же был несчастлив, как и прадед мой Пушкин. Первая жена его, красавица, родом гречанка, родила ему белую дочь. Он с нею развелся и принудил ее постричься в Тихвинском монастыре, а дочь ее Поликсену оставил при себе, дал ей тщательное воспитание, богатое приданое, но никогда не пускал ее себе на глаза. Вторая жена его, Христина-Регина фон Шеберх, вышла за него в бытность его в Ревеле обер-комендантом и родила ему множество черных детей обоего пола.