Таков был Филипп в поздние годы. В юности он увлекался танцами, маскарадами и любовными интрижками. Его отношения с возлюбленными были теплыми, и каждая из четырех его жен находила в нем хорошего мужа. Он безупречно вел себя в Англии — в качестве супруга увядающей Марии. Также король писал совершенно очаровательные отеческие письма своим дочерям; и хотя в то время говорили, что из коротких бесстрастных высказываний Филиппа можно составить целый том, о нем сохранилось меньше анекдотов, чем о любом другом человеке подобного исторического значения. Одна история, показывающая, что он обладал чувством юмора, рассказана Кейт О’Брайен:
Архиепископ Толедский проводил обряд конфирмации одного из королевских детей, и с ними, как всегда настаивал Филипп в таких случаях, всех детей из деревни или с окружающих ферм, которые были готовы получить причастие. Событие происходило с огромной ритуальной пышностью и великолепием, как это обожал Филипп. Хор пел столь совершенно, что затмевал сам Рим; весь цвет церковной иерархии собрался на клиросе. Присутствовали сам Филипп, его семья и двор. Фимиам, цветы, свечи, тишина; архиепископ по очереди причащает детей. Но одному маленькому крестьянскому мальчику, очевидно, не сказали, чего ожидать во время таинства миропомазания, и когда архиепископ, великий князь церкви, нанес ему ритуальный удар по щеке — возможно, слишком сильный, — мальчик, воистину испанец из испанцев, вскочил на ноги и завопил на прелата: «Ах ты, сукин сын!» Ситуация получилась щекотливая, и весь двор и священники, стоящие на коленях, были словно парализованы. (Никто, похоже, не понял, что именно сделал архиепископ.) Но Филипп II, величайший приверженец ритуала, расхохотался — и церемония продолжилась без дальнейших нарушений.
Филипп был прекрасным мужем и отцом, когда сбрасывал маску, которую носил на публике, и становился простым, сердечным и милым человеком, что доказывают очаровательные письма, которые он писал из Лиссабона своим юным дочерям. В одном письме он спрашивает, виден ли им Эскориал из окон алькасара в Мадриде. «Я не знаю, можете ли вы его видеть из ваших окон, но наверняка вы должны его откуда-нибудь увидеть. Да, полагаю, ваш брат будет выглядеть очень хорошо в коротких юбках, но ему не следует ради этого нарушать принятые обычаи». Очевидно, юные принцессы — одна тринадцати лет, а другая четырнадцати — хотели вытащить четырехлетнего Филиппа (впоследствии Филиппа III) из младенческих одежд.
В семейном кругу в Филиппе не могло оставаться ничего пугающего, и две юные принцессы, росшие без матери, часто советовались с ним по поводу нарядов. В одном письме он радовался, что девочки не собираются носить шляпок-токов, а в другом дал им разрешение на платья, украшенные золотом, но не слишком обильно, когда они посещают венчание. Бесполезно искать в этих письмах сурового мрачного Филиппа из Эскориала. Со сдержанным весельем описывает он выходки пожилой пьющей карлицы, Мадалены Руис: как она безумно любит землянику, как однажды она взошла на борт галеры и ее одолела морская болезнь, как Филипп бранил ее, а она на него злилась. Такие письма мог бы писать своим дочерям всякий любящий родитель. Кстати, в Прадо есть очаровательный портрет одной из принцесс с той самой карлицей, Мадаленой Руис, совсем не похожей на пьяницу. Она больше походит на маленькую серьезную старушку-монашенку. Карлица держит на руках пару обезьянок, а принцесса в великолепном наряде стоит рядом, ласково положив руку на голову Мадалены.
Однажды Филипп послал дочерям маленькую шкатулку.