【圣殿时期】
大卫的统治结束于前970年，他的儿子所罗门继承了王位。在《圣经·列王纪上》第五章至第六章记载，所罗门在即位后第四年开始，花费十年时间在城内建造了第一座圣殿。所罗门圣殿所在的地方是最后确知的约柜所在的地方，后来在犹太人历史中一直具有重要地位（在一定程度上对基督教也很重要），也是犹太人崇拜的焦点。这座圣殿采用来自推罗（tyre）的岩石及香柏建造，成为当地最重要的礼拜地，并取代了其他地方的祭坛。到“第一圣殿期”末，这座圣殿成为全国唯一的宗教场所和朝圣的中心。
此后的400年（直到前586年所罗门圣殿被毁），后来称为第一圣殿时期。这一时期开始于所罗门去世（前930年），北方10个支派分裂出去，成立了以色列王国（首都位于撒马利亚）。在大卫和所罗门后裔的统治下，而耶路撒冷仍然是南方犹大王国的京城，长达300多年。前722年，亚述征服了北方的以色列王国。前597年，巴比伦国王尼布甲尼撒二世攻破耶路撒冷，年轻的国王约雅斤和大多数贵族均被掳到巴比伦囚禁。在西底家的领导下，耶路撒冷反抗巴比伦的占领，前586年，尼布甲尼撒二世占领并摧毁这座城市，城墙被毁，圣殿被焚，圣殿中大批的金银器皿则被带到巴比伦。
前538年，巴比伦之囚50年后，波斯帝国居鲁士大帝灭亡巴比伦，允许犹太人回到犹太地重建耶路撒冷圣殿，圣殿重建工程在前516年（大流士一世在位第六年），也就是第一圣殿被毁70年后完成。接着，尼希米又重新修建耶路撒冷城墙，使城市又恢复了繁荣。此后600年间，犹太地先后是波斯、希腊和罗马的一个省份，耶路撒冷则是犹太省的首府。在罗马统治的前期，曾委任代理王大希律王进行统治。大希律王在位时扩建了圣殿。。公元6年，犹太地直接归属罗马统治。70年，一次反抗罗马的起义失败后，罗马军队拆毁了圣殿（只剩下部分墙基，即西墙）。犹太人再次起义，最后在135年，罗马皇帝哈德良派兵包围并夺取了该市；作为惩罚措施，下令在希伯来历埃波月九日，即耶路撒冷遭巴比伦和罗马军兵两次攻陷的周年记念日（恰巧是同一日），将耶路撒冷彻底铲平，在原址新建罗马城市爱利亚加比多连（aeliacaolina），圣殿山上另建罗马神庙；同时将所有犹太人赶出巴勒斯坦，禁止犹太人在耶路撒冷居住。
【控制权的转移】
此后的5个世纪中，该市一直在罗马帝国和拜占庭帝国的统治之下。4世纪，罗马帝国皇帝君士坦丁一世控制该市期间，耶路撒冷变成了一个基督教中心，建造了圣墓教堂。当时，虽然仍然禁止犹太人居住耶路撒冷，但他们已经开始在每年的埃波月九日来到西墙前哭泣。在罗马帝国分裂后的拜占庭帝国统治下，这座城市在基督教势力中得到了很好的保护。当时在宗教方面相对宽容，从5世纪开始，犹太人重新被允许住在耶路撒冷。
638年，阿拉伯帝国的第一个征服目标就是耶路撒冷。虽然《古兰经》中从未提到过耶路撒冷，但***传统认为，先知穆罕默德是在耶路撒冷升天接受《古兰经》的。于是，在691年，阿拉伯哈里发阿布杜勒·马里克在登霄石，即圣殿山圣殿的原址上建造了圆顶清真寺（萨赫拉清真寺）。传说在这个地方亚伯拉罕准备以他的儿子作奉献祭，犹太人认为他奉献的是小儿子以撒(i，又译易司哈格)，***认为他奉献的是大儿子伊希梅尔(iael，又译以实玛利或依市玛耳)。三个世纪后他们又在这里建造了阿克萨清真寺。在***统治初期，在宗教上比较宽容，住在耶路撒冷的基督徒和犹太人在缴纳人头税后，可以获得自治权。但11世纪初，埃及的哈里发下令摧毁耶路撒冷所有的基督教堂和犹太会堂。
1099年，第一次十字军包围了耶路撒冷，一个多月后的7月15日，耶路撒冷被十字军攻占。十字军进城后，屠杀了城内大多数***和犹太人。
此后到1291年，十字军建立了耶路撒冷王国，***不准入城。1173年，一个来到耶路撒冷的人写说，耶路撒冷是一座小城市，充满了东正教教徒、亚美尼亚人、希腊人和格鲁吉亚人，只有200名犹太人住在城市的一角。1187年，埃及***君主萨拉丁又重新占领了耶路撒冷。1219年，大马士革的苏丹下令将城墙销毁，1228年-1229年，神圣罗马帝国皇帝腓特烈二世组织了第六次十字军东征，通过与埃及签定条约，得到耶路撒冷。1239年，他开始重建城墙，但不久它们又被拆毁。1243年，基督徒再次占领耶路撒冷，又重建城墙。1244年，被蒙古亡国的花剌子模在逃亡途中占领耶路撒冷，教皇英诺森四世发动第七次十字军，但无法夺回耶路撒冷。1247年，花剌子模被埃及人驱逐，1260年，埃及奴隶骑兵马木鲁克夺取该城，耶路撒冷的犹太人不得不逃到周围的村庄避难。1482年，一个来此访问的多明我会教士说耶路撒冷是一个“几个不同的民族生活在此的城市，它是所有罪恶的集合”。作为罪恶他列举了撒拉逊人、希腊人、叙利亚人、东正教徒、景教徒、亚美尼亚人、格鲁吉亚