Авдотья Сергеевна происходила из старинной дворянской семьи, родоначальником которой считают Родиона Норова, крупного деятеля «великого Новгорода». Она родилась в 1799 году в Саратовской губернии, откуда в 1803 году семейство Норовых переехало на жительство в село Надеждино, находившееся неподалеку от Алексеевского. Норовы, с которыми Анна Михайловна Щербатова уже давно поддерживала теплые соседские отношения и у которых спустя несколько месяцев после приезда Петр Яковлевич стал довольно часто бывать, занимают весьма заметное место в отечественной истории, а во внутреннем строе их жизни наглядно проявляется культурно-психологическая атмосфера дворянского быта, видны общественные противоречия и расслоения. Отец Авдотьи Сергеевны Сергей Александрович, выйдя в отставку с военной службы, предводительствовал дворянством в Саратовской губернии, где находилось его родовое имение. К его собственности также принадлежали многочисленные имения в Тульской, Рязанской и Костромской губерниях. Крепостнические обычаи и замашки отца вызывали у одного из сыновей, Василия, живое неодобрение. Видимо, такую же реакцию выказывал и Чаадаев, поскольку Авдотья замечала в одном из писем к нему: «Мне почему-то кажется, что Вам не очень приятно общество моего отца». В другом письме она просила Чаадаева не думать плохо об отце, которого сама Авдотья, кажется, немного побаивалась.
Совсем иные отношения сложились у нее с матерью, Татьяной Михайловной Кошелевой (в браке с которой Сергей Александрович приобрел влиятельные родственные связи, например с Воронцовыми; именно по совету Екатерины Романовны Воронцовой-Дашковой, бывшей президентом Академии наук, он купил, когда подросли дети, подмосковное имение Надеждино вблизи Дмитрова, куда все семейство перебралось в 1803 году). Проникнутые теплотой и искренностью, отношения дочери и матери напоминают доверительную дружбу между пушкинской Татьяной Лариной и ее няней. В противоположность мужу добрая, мягкая и отзывчивая, Татьяна Михайловна всем сердцем вникала в жизнь своих детей, особенно тех из них, чья судьба, по ее представлению, складывалась несчастливо, — Авдотьи и Василия.
У нее с Сергеем Александровичем было четыре сына (Василий, Авраам, Александр, Дмитрий) и две дочери (Екатерина и Авдотья). Надо сказать, что все дети Татьяны Михайловны испытывали в разное время неизменно почтительное уважение к Петру Яковлевичу. Екатерина Сергеевна Норова нередко брала книги из богатой библиотеки Чаадаева, посылала ему вместе с матерью и сестрой гостинцы из Надеждина, обращалась к его помощи в затруднительных положениях. Виделся Петр Яковлевич и с ее братом Авраамом, героем Отечественной войны 1812 года, библиофилом, поэтом, переводчиком, высокопоставленным чиновником и будущим министром народного просвещения. Особенно искали общества Чаадаева, как видно из писем к нему Авдотьи, два других ее брата — Дмитрий и Александр, люди небезызвестные в литературных кругах. Его беседы с братьями, кажется, не всегда проходили гладко. Однажды, например, он не принял у себя Александра, за что последний обиделся на него. Впрочем, впоследствии отношения Петра Яковлевича с Александром Норовым, одним из «архивных юношей» двадцатых годов, писавшим стихи и много переводившим с французского (переведенный им мольеровский «Тартюф» в 1832 году был поставлен в Петербурге), примут весьма своеобразный и примечательный оборот, связанный с публикацией первого философического письма.
В нашем распоряжении нет никаких сведений об отношениях Чаадаева и другого брата Авдотьи Сергеевны — Василия Норова. Но возможностей для кратковременного знакомства было у них предостаточно. И в письмах к Петру Яковлевичу Дуня нередко упоминала о переменах в судьбе опального брата-декабриста.
Сама она росла ласковой и общительной, подобно пушкинской Татьяне, с охотой читала французские романы, получая типичное для этого времени домашнее образование, но с годами становилась все более серьезной и замкнутой. В глазах Авдотьи Сергеевны нередко появлялась печаль, она чувствовала себя как-то неукорененной в окружающей действительности, не находила себе определенного места в практической жизни, не видела своего призвания в ней. Физическая слабость и недомогания усиливали ее душевную боль, мысли девушки все чаще стали обращаться к богу. Ей начинает казаться, что именно в служении богу и состоит ее предназначение и что только в монастыре она сможет обрести смысл жизни и желанный мир в своей душе. Однако жалость к родным, которым ее монастырское уединение причинило бы большие страдания, удерживает Дуню от решающего шага.