В соответствии с «Лос-Анджелес Тайме» мать Мэнсона была малолетней проституткой. Мэнсон позже отрицал это: «Они назвали ее шлюхой, проституткой, но это неправда. Она была тем, кем были дети цветов...» Но он подтвердил, что его мать забеременела в пятнадцать лет от семнадцатилетнего молодого человека. Его мать посадили в тюрьму почти сразу после того, как он родился; Мэнсон переезжал из дома в дом, живя в основном с тетей и дядей в Чарльстоне, Западная Виржиния. Его отправили в первое исправительное заведение для малолетних преступников в возрасте девяти лет - в 1943 году, - и он пробыл там год. Позже он оказался в Федеральном Исправительном Учреждении в Чилликоте, штат Огайо. Он ненавидел все школы и неоднократно убегал, из одной из школ - двадцать семь раз. В Индианаполисе газеты напечатали фотографию Мэнсона в 1949 году - выглядящего очень молодо и опрятно одетого -и историю, в которой говорилось, что его забрали из «грешного дома» - предположительно его матери - и отправили в местный «Бойз Таун»; он задержался там всего на три дня. Позже он с горечью рассказывал о запугивании, которое происходило в этих школах - как со стороны начальства, так и других мальчиков. «Ты должен быть крепким парнем. Они должны знать, насколько ты крепок. Это как здесь [в тюрьме] - единственные, кого они боятся, это копы». Даже из самых враждебных сообщений о детстве и отрочестве Мэнсона достаточно ясно, что общество подтолкнуло его на ошибочный путь. Он был смышлёным, в основном дружелюбным, но при этом и доминирующим; с самого начала у него было чувство, что ему надо драться, противопоставить себя миру, который не использовал его и не был ему интересен. Полицейский надзиратель позже сказал: «Чарли был самым враждебным заключенным из всех, с которыми я когда-либо сталкивался». Он находился в исправительном заведении, пока ему не исполнилось двадцать лет (в 1955 году). Затем он женился на семнадцатилетней девушке по имени Розали и уехал с ней на угнанной машине в Лос-Анджелес где-то в середине 1955 года. В марте 1956 у него родился сын; месяц спустя Мэнсона посадили в тюрьму на три года за кражу машины. Розали развелась с ним. Он вышел из тюрьмы в октябре 1958 года, по после всего лишь двенадцати месяцев свободы был приговорен к десяти годам тюремного заключения - на этот раз за несколько нарушений, включая угон машины, мошенничество с банковскими чеками, воровство кредитных карт и перевозку девушек через границу штата для распутных целей. В этот период, в соответствии с Эдом Сандерсом (в его книге «Семья»[44], Мэнсон начал изучать магию и гипноз и учился играть на гитаре у знаменитого гангстера «Крипи» Карписа. Он также увлекся научно-фантастическим романом под названием «Незнакомец на Странной Земле» Роберта Хайнлайна, который в основном представляет собой сатирическую критику общества. Герой романа, Валентин Майкл Смит, - человек с Марса, который считает Землю и ее причудливые традиции абсолютно чужими и пугающими. Он находит религиозный культ, чьи ритуалы включают каннибализм и свободную любовь. Один из его последователей объясняет: «Если Майк покажет нам лучший путь, чтобы убежать с этой взбалмошной планеты, его сексуальной жизни не нужно оправдания. Гении оправданно пренебрежительны к меньшему мнению и всегда безразличны к сексуальным привычкам поколения...» Мэнсон, очевидно, проникся Марсианином-Мессией столь сильно, что позже назвал одного из своих незаконнорожденных детей Валентином Майклом Мэнсоном.
В 1967 году в возрасте тридцати двух лет в очередной раз освобожденного из тюрьмы Мэнсона занесло в Сан-Франциско. Он позже признался: «Я был напуган. Я не знал, куда идти. Я не хотел выходить из тюрьмы, но они настояли и вернули мне мои 35$ и чемодан, наполненный старой одеждой. Несколько дней я просто ездил по округе на автобусе. Я спал в автобусе, и водители будили меня, когда мы приезжали на конечную станцию, находящуюся непонятно где». Он нашел свой путь в район Хейт-Эшбери, который был в Сан-Франциско эквивалентом Сохо или Гринвич Виллидж.