上古时期，黄帝少子禺号封于薛（今张汪镇薛国故城一带）。
夏朝，禹封禺号后裔奚仲于薛。
商朝，汤封奚仲十二世孙仲虺于薛。
西周初年，周武王亦封薛国后裔于薛。
周显王四十四年（公元前325年），齐灭薛。
周显王十八年（前321年），齐湣王封田婴（号靖郭君）于薛。
周赧王三十六年（前279年），齐国、魏国灭薛。薛地先入齐，后属楚国。
秦代，境内置薛郡、薛县。
汉代，薛县为鲁国地，属豫州。
晋惠帝元康年间，薛县改属徐州部彭城国。
西晋义熙五年（409年），撤销薛县，并入蕃县。
北魏孝昌二年（526年），于徐州部置蕃郡，蕃县属之。
东魏元象二年（539年），撤销蕃郡，并入彭城郡，蕃县属彭城郡。武定五年（547年），复置薛县，属豫州部彭城郡。
北齐时撤销薛县，并入蕃县，属徐州部彭城郡。
隋开皇六年（586年），蕃县更名为滕县，属徐州部彭城郡。从此至民国年间，今张汪镇辖境均属滕县。
唐代至五代属河南道徐州。
金大定二十二年（1182年）置滕阳州，滕县属之。大定二十四年（1184年）改滕阳州为滕州。
明洪武二年（1369年）废滕州，滕县属山东布政使司济宁府。洪武十八年（1385年）升兖州为府，滕县改属兖州府。明代正统年间，张汪为滕县礼教乡薛城社。
清康熙十一年（1672年），张汪为滕县离八保，仍属兖州府。嘉庆至光绪年间，张汪一带为滕县悌六区。
民国二年（1913年），滕县属岱南道。
民国二十年（1931年），张汪为滕县第七区薛城乡。
民国三十一年（1942年），薛城乡地方抗日民主政权建立，改称张汪乡，仍属滕县第七区。
民国三十三年（1944年）10月，张汪乡改属临城县第七区，区公所驻张汪村。
1952年，临城县更名为薛城县。
1956年，撤销薛城县，设滕县薛城区，第七区亦属滕县，辖欢城、李桥、周楼、张汪、柴胡店、殷庄、龙山7个乡。
1958年夏，撤区并乡，今张汪境域分为张汪乡和李桥乡。同年秋，张汪乡和李桥乡合并设立前进人民公社，公社驻地设在张汪。
1959年秋，前进人民公社改称张汪人民公社。
1966年5月，改为张汪区。
1968年，恢复原张汪公社。
1984年3月，改张汪公社为张汪乡；11月，改为张汪镇。
1988年5月，撤销滕县，设立滕州市，张汪镇属之。