1968년에 터진 1·21 사태는 무장공비가 서울특별시까지 들어왔다는 사실만으로도 큰 충격이었다. 이에 자극을 받은 김현옥 당시 서울시장은 유사시 시민을 대피하고 이를 위한 시설을 건설하는 '서울 요새화 계획' 을 1969년 1월 7일 수립하였는데, 그 계획이 구체화된 것이 남산1호터널과 남산2호터널이었다. 3월 4일 발표된 구체적인 건설계획에는 남산1호터널과 남산2호터널의 교차점에 5000 ~ 7000평에 달하는 교통광장을 건설하고 평시에는 교차로로 사용하다가 유사시에 시민 30만명을 수용할 수 있도록 하였다. 이 터널 계획은 한국신탁은행에서 10억원의 자금지원을 받아서 3월 13일에 바로 착공되었다.

터널은 1970년 8월 15일 개통하였는데, 한국신탁은행은 투자비용을 회수하기 위하여 은행의 자회사인 '한신부동산'을 통하여 승용차 기준 60원의 통행료를 2010년까지 40년간 징수하기로 계약하였다. 하지만 당초 예상 통행량을 훨씬 못 미치는 결과가 나오면서 적자가 지속되었고 이를 견디지 못한 한신부동산이 해체되면서 1974년 11월 1일 서울특별시에 인수되었고, 날림공사로 인하여 터널 안전에 심각한 문제가 발견되자 1975년 터널을 폐쇄하고 보수공사를 진행하였다. 한편 당초 계획하였던 5,000평의 교통광장은 백지화되었고, 두 터널은 교차는 하지만 연결도로는 존재하지 않게 되었다.

1980년대 들어 서울 시내 차량이 급격하게 증가하면서 터널의 통행량이 많아졌고, 확장의 필요성이 생기게 되었다. 서울특별시는 터널 확장과 더불어 노후화된 터널 전체를 보수하는 공사를 진행하려 하였으나, 터널을 넓히지 않고 터널 옆에 새로운 터널을 뚫는 방법으로 확장을 하기로 결정, 1989년 5월 25일 공사를 시작하여 1994년 1월 8일 끝냈다.

통행료는 건설자금 회수를 목적으로 개통때부터 승용차 기준 60원을 받던 것을 1976년에 100원으로 올린 것이 계속 이어져 오다가 1995년 1월 1일을 기하여 폐지되었는데, 이것이 서울 시내 교통 분산 방안의 일환으로 1996년 11월 11일에 혼잡 통행료라는 명목으로 부활하여 승용차 기준 2,000원으로 정한 것이 현재까지 이어져 오고 있다.

2011년 7월 14일 택시 차량의 폭발사고 관계로 교통이 마비되고 제한되었으며 대피소동이 일어났다.