太行山脉的地质基底是复式单斜褶皱。东侧为断层构造,相对高差达1500~2000米,山前发育典型的洪积扇以及冲洪积平原。从北向南有小五台山(海拔2882米)、太白山、白石山、狼牙山、南坨山、阳曲山、王莽岭等山峰。山西高原东部河流多切过太行山进入河北平原,汇入海河水系。只有西南部的沁河水系向南汇入黄河。
太行山是中国东部的一条重要地理界线。东部的华北平原是落叶阔叶林地带,西侧的黄土高原是森林草原地带和干草原地带,两侧的植被、土壤垂直带特征也存在明显差异。
太行山脉多东西向横谷,自古就是交通要道,商旅通衢。古时有著名的“太行八陉”。
太行山北高南低,大部分海拔在1200米以上。2000米以上的高峰有河北的小五台山、灵山、东灵山、白石山,山西的太白魏山、南索山、阳曲山等。北端最高峰为小五台山,海拔高2882米;南端高峰为陵川的佛子山、板山,海拔分别为1745米、1791米。