Иерусалим находился на территории между наделами колена Иехуды, к которому принадлежал Давид, и колена Биньямина, к которому принадлежал первый царь Израиля Саул. Перенеся Ковчег Завета — символ присутствия Бога — в город, не принадлежавший ни одному из колен и бывший в личном владении царя, Давид тем самым превратил свою столицу в святой город, вокруг которого концентрировалась религиозная жизнь всех двенадцати колен Израиля. Возведение самого Храма Давид поручил своему сыну Соломону, который начал строительство в четвертый год своего царствования. Согласно одной из еврейских легенд, в строительстве Первого Храма участвовали все жители города, у каждого были свои обязанности. Люди сооружали Храм голыми руками, вкладывая в него всю душу. Поэтому Западная стена сохранилась на протяжении нескольких тысячелетий.
С начала VIII века до н. э. пророки не переставали предостерегать, что в наказание за моральные и религиозные прегрешения Израиля Храм будет разрушен. Разрушение Храма и последовавшее за ним вавилонское пленение стало подтверждением этих пророчеств и вызвало у евреев стремление к неукоснительному соблюдению Закона и надежду на возвращение из изгнания и восстановление Храма. В 538 году до н. э., после завоевания Вавилонии, персидский царь Кир Великий издал декрет, разрешавший изгнанникам возвратиться в Иудею и восстановить Иерусалимский храм, разрушенный вавилонским царем Навуходоносором. На второй год после возвращения из вавилонского плена началось строительство, сопровождаемое многочисленными распрями, в результате чего восстановление шло медленно. Работы были завершены в 516 году до н. э.
Когда вслед за завоеваниями Александра Македонского примерно в 332 году до н. э. Иудея попала под власть греков, эллинские цари относились к Храму с уважением и посылали туда богатые дары. Отношение селевкидских правителей к Храму резко изменилось в правление Антиоха IV Эпифана в 175–163 годах до н. э. В 169 году до н. э. на обратном пути из Египта он вторгся на территорию Храма и конфисковал драгоценные храмовые сосуды. Два года спустя он осквернил его, поставив на жертвенник всесожжения небольшой алтарь Зевса Олимпийского. Храмовая служба была прервана на три года и возобновлена после захвата Иерусалима Иудой Маккавеем в 164 году до н. э. С этого времени храмовая служба велась без перерывов.
На территории Храма действовали особые законы. Здесь, например, разрешалось играть на музыкальных инструментах даже в субботу. Музыку исполняли также и левиты. Духовые инструменты извещали о переходе к очередному ритуалу.
В народном сознании Иерусалимский Храм являлся местом пребывания Божественного присутствия и единственным местом жертвоприношения Богу. Путем храмового жертвоприношения и сопровождающего его очищения искупались грехи как отдельного человека, так и всего народа, что способствовало духовному очищению и моральному совершенствованию Израиля. Храмовый культ рассматривался как источник благословения не только для евреев, но и для всех народов мира.
Во время правления Ирода Храм посещали огромные толпы молящихся, их число возрастало во время праздников. Возникла необходимость увеличения площади на вершине Храмовой горы, облегчения доступа к ней, приведения их в соответствие с великолепием других общественных и частных сооружений, уже возведенных в городе к тому времени. К началу царствования Ирода Второй Храм простоял 500 лет, и хотя за ним тщательно ухаживали, он нуждался в капитальном ремонте. Ирод задумал перестройку Храма, который простоит века, прославит его, обеспечит бессмертие, а также даст возможность занять почетное место рядом с Храмом. Ироду была совершенно чужда религиозная духовность, но он испытывал вину за то, что при взятии города нанес святому месту повреждения, и хотел их исправить. Этим жестом он также надеялся улучшить отношения с духовными лидерами иудеев, он хотел, чтобы как можно большее количество его подданных могли участвовать в жертвоприношениях, молитвах и публичных лекциях, а также приятно проводить время вблизи Храма. Были у Ирода комплексы в отношениях с Богом — мазохистское ощущение своего ничтожества и бессилия перед ним. В сознании Ирода Бог — властный, строгий, ему надо рабски поклоняться, чувствуя в то же время себя хозяином над своими рабами. В вертикали власти, с точки зрения Ирода, Бог был из того же ряда, что и римляне, только намного выше. Перестройкой Храма Ирод хотел убедить Всевышнего в своем к нему особом уважении.