在六亿年以前，太行山地区是一片汪洋大海，后来经过了频繁的地壳活动，地面
上升下降，海水时进时退，当海退时，这里沼泽广布，气候温暖潮湿，生长着茂密的森林，因此形成了太行山区丰富的煤炭资源。以后的一次次地壳活动，使太行山脉逐渐隆起。后又与东西的华北大平原断裂，形成太行东部陡峭，西部徐缓的地貌形态。
约在二百四十万年前开始大幅度隆起并逐渐形成。早在二十八亿年前，太行山地区被海水淹没，沉积了巨厚的碎屑岩、含铁硅质岩及碳酸盐地层，受五台运动和吕梁运动的影响，区内古老的地层普遍遭受褶皱、变质，并伴随有断裂和石英岩脉的侵入。距后世的二十一世纪，十八亿年，形成了混合岩化的结晶基底岩层。
距后世的二十一世纪十八亿年的吕梁运动以后，本区地壳进入差异升降阶段，并由此导致了海水的进退往复，分别形成了中元古代地台沉积盖层，以及上覆的古生界寒武、奥陶、石炭和二叠系地层。其中奥陶和二叠系为含煤地层。发生在中生代的燕山运动使太行山新华夏式褶皱带逐渐形成并发育太行山前深大断裂带。
发生在新生代的喜马拉雅运动使太行山强烈隆升，而山前的华北平原则相对下沉，经过数百万年的千古锤炼，太行山终于产生。
山地受拒马河、滹沱河、漳河、沁河等切割，多横谷，当地称为"陉"，古有"太行八陉"之称，为东西交通重要孔道。太行山东翼断陷盆地中分布有井陉、临城、峰峰、六河沟等著名煤矿。太行山为重要地理分界，山以西为黄土高原，以东为黄淮海平原。山地对夏季风有明显阻滞作用，迎风坡降水较多，并形成暴雨区。山地东侧为地震强烈活动带。
太行山脉的的地质基底是复式单斜褶皱。东侧为断层构造，相对高差达1500~2000米，山前发育典型的洪积扇以及冲洪积平原。从北向南有小五台山(海拔2882米)、太白山、白石山、狼牙山、南坨山、阳曲山、王屋山等山峰。山西高原东部河流多切过太行山进入河北平原，汇入海河水系。只有西南部的沁河水系向南汇入黄河。
太行山是华夏东部的一条重要地理界线。东部的华北平原是落叶阔叶林地带，西侧的黄土高原是森林草原地带和干草原地带，两侧的植被、土壤垂直带特征也存在明显差异。
太行山脉多东西向横谷，自古就是交通要道，商旅通衢。古时有著名的"太行八陉"。
太行山北高南低，大部分海拔在1200米以上。2000米以上的高峰有河北的小五台山、灵山、东灵山、白石山，山西的太白魏山、南索山、阳曲山等。北端最高峰为小五台山，海拔高2882米;南端高峰为陵川的佛子山、板山，海拔分别为1745米、1791米。
太行山山势东陡西缓，山西高原东部 河流多切过太行山进入河北平原，汇入海河水系。只有西南部的沁河水系向南汇入黄河。
太行山脉西翼连接山西高原，东翼由中山、低山、丘陵过渡到平原。山中多雄关，著名的有位于河北的紫荆关，山西的娘子关、虹梯关、壶关、天井关等。
太行山是黄土高原和华北平原的天然分界线。北宋时代杰出的科学家沈括看到太行山的山崖之间"怯怯御螺贝壳及石子如鸟卵者，横亘石壁如带"，经过研究指出:"此乃昔日之海滨，今东距海已近千里。"
现代地质研究证实了他的论断。太行山崖间的螺蚌壳，显系古生代地层中的腕足动物或软体动物化石。