黄山不属大别山，它属于东南丘陵的一部分，是长江水系和钱塘江水系在安徽省境内的分水岭，它本身就是一条山脉。

黄山位于安徽南部黄山市境内，山境南北长约40千米，东西宽约30千米，总面积约1200平方千米。其中，黄山风景区面积160.6平方千米，地跨东经118°01'—118°17'，北纬30°01'—30°18'，东起黄狮，西至小岭脚，北始二龙桥，南达汤口镇，分为温泉、云谷、玉屏、北海、松谷、钓桥、浮溪、洋湖、福固九个管理区。

缓冲区面积490.9平方千米，以与景区相邻的五镇一场（黄山区汤口镇、谭家桥镇、三口镇、耿城镇、焦村镇和洋湖林场）的行政边界为界。

黄山山体主要由燕山期花岗岩构成，垂直节理发育，侵蚀切割强烈，断裂和裂隙交错，长期受水溶蚀，形成花岗岩洞穴与孔道。全山有岭30处、岩22处、洞7处、关2处。黄山的第四纪冰川遗迹主要分布在前山的东南部。

黄山集八亿年地质史于一身，融峰林地貌、冰川遗迹于一体，兼有花岗岩造型石、花岗岩洞室、泉潭溪瀑等丰富而典型的地质景观。前山岩体节理稀疏，多球状风化；后山岩体节理稠密，多柱状风化，山体峻峭，形成了“前山雄伟、后山秀丽”的地貌特征。