Якщо Філіп був небажаним дитям траґічного кохання, то Ґійом і Робер народилися внаслідок банального шлюбу з розрахунку. Їхня мати, Катаріна де Марсан, остання представниця і єдина спадкоємиця згаслого роду ґрафів Марсанських, померла в 1427 році ще за життя свого свекра, герцоґа Робера Аквітанського. Ця гарна і надзвичайно дурна жінка, що несла на собі печать звиродніння всієї своєї сім’ї, лишила чоловікові двох синів, якими він, навіть при всьому бажанні, не міг пишатися.
Обидва сини Катаріни де Марсан успадкували від матері не лише її красу, а також і її дрімучу дурість, злобну вдачу й патолоґічну жорстокість її предків. Особливо відзначався в останньому Ґійом. Змалку він полюбляв привселюдні покарання та страти, намагався не пропустити жодного допиту з тортурами — видовище людських страждань приносило йому неабияку втіху. Коли Ґійомові виповнилося шість років, він влаштував у занедбаному фліґелі бордоського замку, де тоді мешкала родина Аквітанських, камеру тортур і встиг замордувати там дюжину кішок та собак, перш ніж його викрили. Ця історія вжахнула навіть старого герцоґа Робера — людини, хоч і не жорстокої, але дуже далекої від сентиментів.
А за два роки по тому король Франції, Філіп-Авґуст II, що багато чув про камеру тортур та інші „дитячі пустощі“ спадкоємця Ґасконі, розірвав попередню домовленість, згідно з якою його онука Аґнеса, після досягнення відповідного віку, мала стати дружиною Ґійома Аквітанського. Так були поховані сподівання двох герцоґів — Робера I та його сина Філіпа III — відновити за посередництвом шлюбу дружні стосунки зі своїм північним сусідом і мирним шляхом повернути до складу Ґасконі частину втрачених під час війни з Францією територій. Відтоді герцоґ ніяк не міг знайти для свого старшого сина підходящу партію, а Ґійом Аквітанський дожив до двадцяти п’яти років, не маючи ні дружини, ні дітей, і навіть ні з ким не заручений, що за тих часів було чимось надзвичайним.
На дев’ятому році життя Філіпа спіткала тяжка втрата: померла його тітка Амелія, жінка, що замінила йому матір, перша жінка, яку він любив, і єдина — яку він любив цнотливо. За прикрим збігом обставин, саме в той час Філіп перебував у Шалоні, куди поїхав разом з Ґастоном д’Альбре за його нареченою, Клотільдою де Труа, небогою ґрафа Шампанського. А коли вони повернулися додому, то застали лише жалобу при дворі, новий надгробок у склепі абатства Святого Бенедикта та заплакану Амеліну. Словом, невеселим видалося Ґастонове весілля, і тоді Філіп уперше й востаннє бачив в очах кузена сльози. Сам він ніяк не міг повірити в те, що сталося, це здавалось йому якимось жахливим кошмаром. І лише наступного дня, коли він прокинувся і не побачив схиленого над ним обличчя ґрафині Амелії, яка зазвичай будила його вранці, він урешті збагнув страшну істину, зрозумів, що більше ніколи не побачить
А за рік пішов з життя ще один близький родич Філіпа — рідний брат його матері, Людовік VI Ґалльський. Король Людовік царював недовго й помер бездітним, і після його смерті Філіп, як єдиний нащадок Ізабелли Кантабрійської, першої дружини короля Робера II, успадкував ґрафство своєї бабці і став одним з найбагатших та наймогутніших феодалів Іспанії. Таким чином, дев’ятирічний Філіп Аквітанський, третій син герцоґа, значно підвищився у своєму суспільному статусі. Він став ґрандом Кастілії, а поза тим, оскільки новий король Ґаллії, Робер III, був ще молодим і не мав дітей, Філіп, хай і тимчасово, отримав титул першого принца королівства і наступника ґалльського престолу. Придворні, слуги, міщани та селяни стали називати його „ваша високосте“ і чинили так, поза будь-яким сумнівом, на зло Ґійомові та Роберові. Старших братів це неабияк дратувало, та нічого вдіяти вони не могли. А герцоґ сприйняв звістку про те, що в його сім’ї з’явився перший принц Ґаллії, з цілковитою байдужістю, ніби це його зовсім не стосувалося, ніби Філіп не був його сином.
З дядьковою смертю Філіп став матеріально незалежним від батька. Бувши людиною розважливою і знаючи про вороже ставлення герцоґа до найменшого сина, Людовік VI назвав серед виконувачів своєї духівниці двадцятирічного Ґастона д’Альбре, доручивши йому врядування Кантабрією до Філіпового повноліття. Ґастон сумлінно виконував свої обов’язки опікуна і регулярно передавав у розпорядження свого підопічного частину прибутків від ґрафства, по-братньому оплачуючи всі витрати з власної кишені. Завдяки такій передбачливості з боку небіжчика-короля, Філіп уже в десять років став цілком самостійним і навіть зміг орґанізувати при батьковому дворі щось на зразок невеличкого власного двору. Це внесло певне пожвавлення в розмірене, напівсонне життя Тараскона — древнього родового гнізда маркґрафів Іспанських, куди герцоґ переселився з Бордо невдовзі по смерті другої дружини, сподіваючись сховатися тут від життєвих негараздів, прагнучи знайти спокій та умиротворення…