山的形成是经历火山作用或大陆漂移（板块碰撞）产生，而引起褶皱、断裂、隆起、沉积及侵蚀等地理因素。
如喜马拉雅山脉，就是欧亚大陆板块及印度-澳洲板块两个大陆板块之间互相碰撞对方而产生的板块挤压运动；而北美东海岸的阿巴拉契亚山脉就属于古大陆地形，后遭侵蚀作用后形成现貌。
山”字最早见于商殷时代的“癸山敦”中（金文），是三座峰峦相接的形状，有山阴树影，使人一望便知是“山”。至于是三峰相接而不以其他数量的峰相接则是因为“三”在古代经常用来表示多次或多，用三峰列而为“山”，便表示多个峰峦相接的意思。这是中国人祖先用“远取诸物”的办法所创造的一个很原始也很典型的象形宇。
到了春秋时代，在“山且丁爵”中的“山”字，中峰已高耸起来，并且已渐趋瘦化了。秦篆（即小篆）则在这一形体基础上进一步使之线条化。于是，以后便相沿发展为隶书和楷书中的“山”字。“山”的本义是地面上由土石构成的隆起的部分，因为山是高耸的而引申出“大”等含义。
