Предками матери, Марии Григорьевны, были крепостные графа Шереметева — Шилины. Граф увёз их из тульского имения в Санкт-Петербург «за своеволие», и потому Шилины жили в качестве прислуги в знаменитом Фонтанном доме-дворце Шереметевых. Впоследствии во дворце располагался Арктический институт Академии наук, а ныне там находятся филиал Музея театрального и музыкального искусства и Музей Анны Ахматовой (поэтесса ютилась в 1920— 1950-х в одной из комнат дворца). В Северной столице непокорные крепостные сменили фамилию Шилины на Житковы (в официальных документах писавшуюся Жидковы). Григорий Никитич Шилин-Житков (Жидков) приходился дедом Прокофьеву по материнской линии. Сам композитор запомнил ныне утраченный портрет Григория Никитича, запечатлевший его «суровым аскетом раскольничьего склада».
Атмосфера в доме Шереметевых в середине XIX века была весьма своеобразной. Владел огромным состоянием Дмитрий Николаевич Шереметев, сам сын крепостной — знаменитой актрисы Прасковьи Ковалёвой-Жемчуговой, и, сколько мог, тратил его на тайную благотворительность и явную помощь своим крепостным. Так выросшие в Санкт-Петербурге дочери Григория Житкова, мать композитора Мария Григорьевна (1855–1924), её сёстры Екатерина Григорьевна (1857–1929) и Татьяна Григорьевна (ум. в 1912), получили начальное образование в стенах Фонтанного дома, затем учились в школах, в частности мать композитора — в Первой Московской гимназии, и впоследствии избрали каждая достойный и независимый путь. Восприемником при рождении, крёстным отцом Марии был сам Дмитрий Шереметев. По сохранившимся у потомков Житковых изустным преданиям жизнь в Шереметевском дворце включала приобщение к высокой культуре — дети крепостных «слушали пение знаменитой Шереметевской капеллы в домовой церкви, видели картины мастеров, развешанные на стенах дворца», понимали французский язык. Бабка композитора Анна Васильевна Инштетова, мать Марии, Екатерины и Татьяны, была наполовину прислугой и работала в Зимнем дворце. «По преданию, Инштетовы происходили от шведского графа Инстедта, иммигрировавшего в Россию», — сообщал сам композитор. Однако двоюродный дядя композитора Д. С. Инштетов внёс в 1947 году существенное уточнение в известную Прокофьеву легенду. В письме к композитору он сообщал, что дети Инстедта — Анна Васильевна и Семён Васильевич родились в селе Мещерском Серпуховского уезда Московской губернии, где их отец работал на строительстве для барона Боде-Колычёва. Боде-Колычёв выписал шведского подданного в Москву для участия в возведении Большого Кремлёвского дворца, проходившего, как известно, в 1838–1849 годах, а потом позвал к себе в имение и отдал за него свою внебрачную дочь. Раннее замужество для родившейся в таком браке Анны Инштетовой не должно удивлять — оно вполне было в духе времени. Таким образом, Прокофьев приходился по матери также потомком древнему боярскому роду Колычёвых, к которому принадлежал и канонизированный Русской православной церковью митрополит Филипп — оппонент и жертва Ивана Грозного, персонаж фильма Сергея Эйзенштейна, музыку к которому напишет Прокофьев.
А композитор Николай Набоков сообщал о матери композитора Марии Григорьевне, очевидно, со слов самого Прокофьева, что она «принадлежала к интеллигенции и была воспитана на оппозиционных революционных идеалах конца девятнадцатого столетия».
Младшая сестра матери Екатерина, любимая Сергеем с раннего детства тётя Катя, вышла замуж за Александра Дмитриевича Раевского (1850–1914), из знаменитой дворянской семьи, дослужившегося до чина действительного тайного советника. У Раевских родилось двое сыновей: старший — Андрей (1882–1920), младший — Александр (1885–1942). Александр женился на Надежде Богдановне Мейендорф (1885–1950) и за своё аристократическое в глазах советской власти происхождение много лет провёл в послереволюционных тюрьмах (его жена также находилась в заключении и работала в 1929–1932 годах на строительстве Беломорско-Балтийского канала). То, что мать Александра Раевского, как и мать его двоюродного брата Сергея Прокофьева, была из крепостных, для нового режима значения не имело. Прокофьев часто, но не всегда успешно, хлопотал перед советскими властями за любимого кузена Сашу; дневник его полон размышлений по поводу горькой судьбы Раевского. В 1931-м, после очередного освобождения, Раевский, уже в летах, решил начать жизнь заново: поступил в Московскую консерваторию, которую окончил по классу контрабаса, играл в театральных оркестрах столицы. В 1941 году, вместе со многими, прежде осуждёнными по политическим статьям, был снова арестован и умер в заключении. Таким образом, через сестру матери тётю Катю композитор состоял в свойстве как с родственниками героя войны 1812 года генерала Раевского, так и с семьёй будущего знаменитого богослова о. Иоанна Мейендорфа.