시온산은 예루살렘 서쪽에 있는 산등성이로 예루살렘 성벽 밖에 위치해 있다.
힌놈 계곡에 의해 서쪽과 남쪽이, 그리고 동쪽으로는 중앙 계곡에 의해서 삼면이 경사를 이루고 있는 해발 765m의 등성이 산지이다.

시온산은 원래 예루살렘 중에서 솔로몬 왕이 성전을 건축했던 지역만을 의미했으나 차츰 예루살렘 도성 전체를 지칭하는 말로 사용하게 되었다. 그러다가 신약시대 이후 예루살렘의 서남쪽에 있는 언덕(현재의 시온산)을 가리키는 말이 되었다. 서기 4세기 기독교가 공인된 비잔틴 시대에, 예루살렘의 서남쪽 언덕에 시온산교회로 명명된 웅장한 교회가 세워졌고, 이후로 오늘날까지 그 언덕은 시온산으로 불려지고 있다.
이 지역에는 물을 공급하는 수원이 전혀 없다는 점과 고고학자들의 연구결과 현재의 시온산이 구약시대의 시온산이 아니고 다윗성이 발견된 성전산 부근이 구약의 시온산임을 확인하였으나 2000여년 동안이나 이 곳을 시온산으로 부르고 있었기 때문에 오늘도 이 곳을 시온산이라 부르고 있다.

구약시대 시온산 지역이 좋은 주택지였고 대제사장의 저택도 이곳에 있었다고 추정되는 점으로 볼때, 이 지역이 예루살렘을 둘러싸고 있는 성벽 밖으로 밀려나 있는 사실은 이상한 일이 아닐 수 없다.
히브리 대학의 역사 학자 하임 타드모 교수는 이렇게 설명했다.
"예루살렘 성벽을 쌓았던 건축가의 실수때문입니다. 서기 1500년대 중엽에 팔레스타인을 지배하던 오스만 터키 제국의 술레이만 황제는 황폐해진 예루살렘의 성벽을 새로 쌓게 했습니다. 이때 성을 설계한 사람의 착오로 시온 산 지역이 성벽 안쪽에 포함되지 않았습니다. 후에 이사실을 안 황제는 크게 노해서 그 건축설계가를 처형했다고 합니다."
 
이스라엘이 독립한 1948년부터 6일전쟁이 일어난 1967년까지는 구예루살렘 지역을 장악한 아랍측과 시온산을 장악한 이스라엘사이에 시온문을 사이에 두고 팽팽한 긴장이 이어졌고 6일전쟁 때는 이 곳에서 치열한 전투가 있기도 했다. 지금도 시온문에는 당시 전투에서 생긴 수많은 총탄자국이 남아있다.  1964년 교황 바오로 6세가 시온산을 방문했다. 이 때 그의 방문을 위해 시온산으로 오르는 새로운 길이 만들어 졌고 '교황의 길'이라 이름을 붙였다.
 현재 시온산 지역에는 최후의 만찬 다락방, 다윗의 가묘, 마리아 영면교회, 대제사장 가야바의 집, 베드로 통곡 교회 등의 유적이 남아 있다.