В конце Первой мировой войны Карл Хаусхофер предпринял попытку написать свою биографию. Это была не законченная рукопись, а множество не совсем систематизированных набросков, которые тем не менее являются бесценным источником для историков. Сам же Хаусхофер, не очень довольный полученным результатом, замечал, что не слишком серьезно подошел к этому начинанию, а потому текст получился несколько суховатым, напоминающим научную статью. Книга так и осталась незавершенной. Хаусхофер продолжал работать над ней даже в 1944–1945 годах. Ему приходилось переосмысливать многие вещи, заново оценивать свою жизнь. Опасаясь, что его сочтут не совсем самокритичным, он сообщал потенциальному читателю: «Я постарался не написать ни одного слова, за которое бы я не смог ответить перед вечностью, не смог дать ответ в ином мире».
Поскольку о детских и юношеских годах Карла Хаусхофера фактически не сохранилось никаких сведений, то нам придется опираться на составленное им самим жизнеописание. С одной стороны, изображение этих лет подавалось в романтически окрашенных тонах. «То, что имело для меня конечную ценность, было домашним счастьем, родными ландшафтами, которые стали для меня моей страной детства. Это были дом и двор любимого города, в которых я играл. Затем это были горы с их озерами и лесами, порождавшими порывы души. Это был домик в прекраснейшей во всей Баварии высокогорной долине». Однако детские годы Карла Хаусхофера были омрачены ранней смертью его матери. Она умерла в 1872 году, когда Карлу было всего лишь три года. Поэтому в воспоминаниях Хаусхофера встречаются и трагические нотки: «Я отчетливо помню боль, которую испытал от смерти моей молодой, прекрасной мамы Адель… Моя мать была поразительно красивой и стройной. Несмотря на ее раннюю смерть, я сохранил ее возвышенный образ. Даже сегодня, когда я бываю в некоторых уголках изрядно изменившегося Мюнхена, в моей памяти отчетливо всплывает ее нисколько не изменившийся облик. Я помню даже цвет и фасон ее платья из коричневого шелка, которое было украшено черными кружевами. Я вспоминаю ее, когда бываю в английском саду, на ступенях церкви Святого Людвига, по которым она вела меня, желая, чтобы я был таким же большим, как она сама. Я вспоминаю ее на Швабингском шоссе, где она помогала мне отражать атаку индюка, нападавшего на подаренную мне бабушками и дедушками красную шубку».
Именно в этой части воспоминаний Карл Хаусхофер говорил о «двух райских уголках, из которых жизнь выгнала меня, подвергла тяжким испытаниям, но не смогла лишить их совсем». «Это далекий большой сад моих бабушек и дедушек Фрасов, который находился близ Триумфальной арки… и остров на Химзее, где находился дом моего дедушки Макса Хаусхофера, профессора ландшафтной живописи в Пражской академии искусств». Находясь в постоянном творческом окружении, Карл Хаусхофер оказался причастным к искусству. «Если видишь вокруг себя неутомимых мужчин и женщин, которые в большинстве своем оказывались творчески активными людьми, то невольно с ранней юности начинаешь мечтать, поощрять свою творческую фантазию. После этого начинаешь презирать скучающих ленивых людей, поскольку считаешь их бесполезными и бессмысленными».
С детства Карл привык, что свободный полет мысли требовал свободного пространства. Тогда для него этим пространством были три комнаты, в которых жил Карл Николаус Фрае. «Я до сих пор вижу его энергичную голову со строгим полицейским взглядом, увенчанную седой гривой и бакенбардами, подобающими английскому землевладельцу». Однако непосредственным воспитанием Карла все-таки занимался его рано овдовевший отец и бабушка Адельхайд Фрае. Последняя в свое время была придворной фрейлиной молодой греческой королевы Амалии. Она приехала в Афины из Ольденбурга. Всего же в браке она родила девять детей, трое из которых умерли в раннем детстве. Она была полной противоположностью волевого и энергичного «дедушки Фраса». Она была утонченной дамой, даже в старости не прекращавшей быть светской особой. В свое время свадьба Карла Николауса Фраса и Адельхайд Фойт чуть было не закончилась трагедией. Греческие разбойники похитили дедушку Карла Хаусхофера вместе с богатым англичанином, когда они совершали ботаническую экспедицию. Карла Фраса спасло то, что он был врачом, а потому поневоле мог оказывать медицинскую помощь разбойникам. За англичанина же планировалось получить хороший выкуп. Когда с выплатой выкупа возникли проблемы, то англичанину отрезали уши и послали их в Афины с приложенным письмом, в котором сообщалось, что если деньги не будут заплачены вовремя, то англичанин может лишиться головы.