南木林地处岗底斯山脉东段河谷地带，整个地形东北高，西南低，绝大部分地区海拔在3790——4950米之间，极易发生高原反应，需要注意预防高原反应，县城驻地南木林镇海拔4020米。境内山峦起伏，有极高山、高山、中山、河谷、湖泊、冰川及沙丘等诸地貌单位组成。最高点在县境内东北部扛宗马山峰，海拔6043米，中年积雪不化，银装素裹，长于云天相连一体，构成一幅绮丽景色，山腰四季流水潺潺，慰为壮观；最低为湘曲河与雅鲁藏布江的交汇处，海拔3704米。相对高差2303米。
境内山川相隔分布，依山脉、河流走向和海拔高度，将全县划分为湘河主河谷区、各支流河谷区和高原亚高山草甸区。
雅江从西而东沿南缘边境流过，湘河是南木林县境内主要河流，长约110公里，是由娘热河、扎河、拉布河、则绪河、仁堆河等汇集而成，是雅江一级支流，从北向南流注入雅江干流。湘河两岸气候温和，土地肥沃，历来是南木林县的主要农牧区。