В своих атеистических произведениях Гольбах особенно сосредоточил внимание на доказательствах несостоятельности идеи бога, на рационалистической критике религиозной догматики и культа. Здесь талант Гольбаха выступает перед нами в полном блеске. Вероятно, в первую очередь именно Гольбаха имел в виду Г. В. Плеханов, когда писал, что французские материалисты XVIII века "задолго еще до изобретения доброго доктора Гильотена... гильотинировали бога". (Г. В. Плеханов, "Очерки по истории материализма"). Более того, можно даже сказать, что Гольбах заставил бога гильотинировать самого себя, ибо, как остроумно рассуждал этот философ, если бог наделил людей разумом и руководит всеми без исключения их поступками, то его, Гольбаха, опровержение идеи бога - тоже дело божье.
Нет никакой необходимости подробно прослеживать здесь весь ход рассуждений, все аргументы, приводящие Гольбаха к отрицанию бога и показывающие полную несостоятельность богословских стараний доказать обратное. В произведениях замечательного богоборца легко увидеть всю силу его рассуждений, его находчивость и остроумие в полемике, шаг за шагом приводящие и читателя к атеистическим выводам. Читатель заметит, что Гольбах предельно строг к себе, что он не приписывает богословам ничего такого, чего нет в их писаниях, что он отлично умеет бить теологию ее же оружием, раскрывая свойственные ей бесчисленные противоречия. Не внять доводам атеистических памфлетов Гольбаха могут только упорно не желающие мыслить и уныло твердящие спасительную формулу: "Тайна сия велика есть" формулу, которою защитники идеи бога обычно прикрывают свое отступление перед аргументами атеистов.
Здесь же необходимо подчеркнуть, что Гольбах отвергал не только человекоподобного бога христиан, но и вообще всякую идею бога, в том числе бога "естественной религии", безличного бога деистов, якобы давшего материи "первый толчок", а затем ушедшего на покой, чтобы более уже не вмешиваться в дела мира.
Доказывая несостоятельность идеи бога, Гольбах опирался на положения философского материализма, особенно развитые им в "Системе природы". Он не только отстаивал основы материалистического понимания природы, но прямо формулировал атеистические выводы, в этом и видя главную цель.
Материалистически решая основной вопрос философии - об отношении бытия и мышления, Гольбах учил, что материя - это извечная, единственная, объективно существующая субстанция и что сознание есть свойство особым образом организованной материи. Реально существует лишь то, что может прямо или косвенно воздействовать на наши чувства и восприниматься сознанием. Это и есть природа во всем ее многообразии - природа, не имеющая начала ни в пространстве, ни во времени, постоянно находящаяся в движении и не знающая абсолютного покоя ни в малейшей своей частице.
"Природа,- говорит Гольбах,- есть причина всего; она существует сама собою; она будет существовать и будет действовать вечно; она - своя собственная причина; ее движение есть необходимое следствие ее необходимого существования; без движения мы не можем представлять себе природу, причем под этим собирательным названием природы мы понимаем совокупность веществ, действующих в силу своих собственных энергий". (П. Гольбах, "Система природы..."). В природе, утверждает Гольбах, всецело господствует принцип необходимости, согласно которому все явления совершаются в силу их причинно-следственных связей. Явление может совершаться только естественным путем и только в одном, заранее обусловленном направлении. Никакие нарушения принципа причинности совершенно немыслимы.
Атеистические выводы Гольбаха из всех этих положений материализма неопровержимы. Существует только материальная субстанция, значит, не может быть обособленных от материи духовных существ и отличной от тела души. Природа бесконечна и вечна - значит, нельзя представить себе что-либо вне ее и до нее. Она - причина самой себя; значит, чтобы ее объяснить, Нет надобности верить в какую-либо внешнюю причину, то есть в бога - ни в бога-творца, ни в бога-перводвигателя; ведь движение, как доказывает Гольбах, есть "способ существования" материи, оно присуще ей и немыслимо без нее. Подходя к природе без предрассудков, надо признать, что материя "не нуждается ни в каком внешнем толчке, чтобы быть приведенной в движение". (П. Гольбах, "Система природы...").