А род Кологривовых, внесенный в Родословные книги Московской, Воронежской, Калужской, Курской, Орловской и Пензенской губерний, был древен и вел свое начало от славного выходца из прусской земли, «мужа честна» Радши (XIII век). Его потомок в десятом колене – Иван Тимофеевич Пушкин, прозванный «Кологривом», и стал основателем династии. В роде Кологривовых было много людей самых серьезных, в шутовстве не замеченных, зато отличившихся на военном поприще. Иван Петрович Большой-Кологривов был воеводой в Кетске (1625−1627); Григорий Александрович – воеводой в Стародубе (1604), а его брат Лаврентий – в Ряжске и Владимире (1616−1618); Андрей Семенович (1775−1825) был генералом от кавалерии. Да и отец Дмитрия, Михаил Алексеевич Кологривов (1719−1788), был гвардии капитаном. Он женился на вдове князя Н.С. Голицына Александре Александровне Хитрово (1737−1787), которая и произвела на свет троих детей, в том числе и нашего героя. Помимо родной сестры, Елизаветы Михайловны Кологривовой (1777−1845), Дмитрий имел и единоутробного брата от другого отца, Александра Николаевича Голицына (1773−1844). Братья совсем не походили друг на друга: Голицын был сероглаз и русоволос; Кологривов – скорее цыганской масти: жгучий брюнет с пронзительными черными глазами. Но их объединяла безудержная склонность к озорству.
Это потом Голицын оставит след в истории как обер-прокурор Синода и министр духовных дел и народного просвещения России, открывший по всей империи целую сеть Библейских обществ; а его благочестие, приправленное изрядной долей мистицизма, войдет в легенду. В молодости же Александр слыл неисправимым шалуном, безбожником и эпикурейцем. Какой же пример мог подать он меньшому брату? Сызмальства Голицын был определен в Пажеский корпус – заведение, которое называли не иначе как «школа затейливых шалостей». Здесь этот «мальчик крошечный, веселенький, миленький, остренький, одаренный чудесною мимикой, искусством подражать голосу, походке, манерам особ каждого пола и возраста», обратил на себя внимание влиятельной камер-фрейлины императрицы Екатерины II М.Г. Перекусихиной. Проникшись симпатией к «беднейшему князьку», да к тому же еще и круглому сироте, она присоветовала императрице определить мальчика в товарищи к его малолетнему царственному тезке – будущему императору Александру I.
Дети быстро подружились и принялись так нещадно шалить, что двор от их выходок только за голову держался. Рассказывали, что Екатерина, проведав о даре Голицына к имитации, заставляла его передразнивать речь и повадки великого князя Павла Петровича и при этом заразительно хохотала. Известен и такой случай (об этом рассказывал сам Голицын). Однажды он поспорил, что сумеет прилюдно дернуть Павла Петровича за косу. Прислуживая за столом, он и впрямь что есть мочи рванул косу наследника престола. Взбешенный Павел вскочил и, сверкнув глазами, приказал запороть наглого постреленка. Однако Голицын, потупившись, объяснил, что, мол, коса была сбита набок и он ее просто поправил. Великому князю ничего не оставалось, как поблагодарить «усердного» слугу.
Не отставал от шалуна Александра Голицына и Дмитрий Кологривов. Проделки братьев шокировали Петербург и были в начале XIX века на слуху у многих. При этом озорники подчас проявяли себя как закоренелые атеисты, глумившиеся над самым святым – христианским милосердием. Вот какую комедию разыграли они, например, с истой ревнительницей православия княгиней Т.Б. Потемкиной. Благотворительность Потемкиной не знала границ и была известна всей России. Творя благодеяния, она никогда никому не отказывала. Потому, когда княгине доложили, что к ней явились две монашенки, они были немедленно впущены. Войдя в приемную, жены Христовы пали ниц и, осеняя себе крестным знамением, стали жалостно вопить, умоляя о милостыне. Растроганная Потемкина пошла за деньгами, но вернувшись, остолбенела от ужаса: монахини бойко отплясывали камаринского! Это были переодетые Голицын и Кологривов.
В другой раз братья, вырядившись в морских разбойников, угнали с пристани Зимнего дворца ялик и учинили «пиратское нападение» на прогулочное судно графа Салтыкова, до смерти перепугав находившихся на нем знатных дам. За это проказники были примерно наказаны: сосланы на три месяца на юг, где уныло пьянствовали и играли в карты.