据传说记载，父系社会后期部落联盟首领尧，曾命义和氏的四个儿子分别管理四岳。这时“四岳”不是山名，而是主管方岳的官吏职称。
到了舜时，主管方岳官吏的职称和所在地方名山的名字开始统一。天子巡狩某地，主管方岳的官吏就要在驻地选择一个适宜发信号的高山，以便召集诸侯。这样，最早用来召集诸侯的这几座大山，就成了岳宫的首府，岳这个官名就逐渐地和岳宫驻地的山名统一起来。据《尚书》记载，舜曾用一年的时间巡狩四岳：2月巡狩至东岳泰山，5月巡狩至南岳衡山，8月巡狩至西岳华山，11月巡狩至北岳恒山。舜帝的巡狩决定了四岳的地理位置，并且规定了5年一巡狩的制度，这样就逐渐地使四岳由官吏的职称而发展成为东西南北中的区分，这主要是由当时的历史和地理条件所决定的。《史记》记载，夏、商、周三代之君皆建都在河洛之间，故嵩山为中岳，其余四岳都依它来划分。
后来历代帝王效仿汉武帝不断进行封禅，给五岳留下了众多的人文遗迹，五岳也就逐渐被神化了。