李宗仁任第五战区司令长官，率区区10万杂牌军愣是把日本精锐部队板垣师团、濑谷支队（旅团）打得落花流水，赢得抗日战争的首场胜利。
台儿庄取胜，关键在于从上海沿津浦铁路北上的日军，被死死的牵制在安徽蚌埠以南，始终不能和板垣、濑谷支队（旅团）北下的部队会合，也给李宗仁将军用十万杂牌军有了干掉板垣、濑谷支队（旅团）着2支孤军深入的敌寇。
后来也是31集团军，仅仅2个月内，让刘邓大军在大别山的日子非常不好过，被迫2次分兵。要不是蒋某人嫉妒白崇禧的功劳，将31集团军调离大别山，刘邓大军恐怕很难留守大别山。
战后，李宗仁将军说：“如果不是我桂系31集团军敢于牵制、阻击日军，台儿庄会战的我军即有被包围、歼灭的危险”。
31军，军长刘士毅。辖131师（师长 覃连芳）、135师（师长 苏祖馨）、138师（师长 莫德宏）。
当日军费尽九牛二虎之力，冲破阻击，到达常熟后，李宗仁电令李品仙部立刻向南大别山方向后撤，放开徐州方向的口子。日军从常熟可以说是旅行到蚌埠光明一带时，被等候已久的桂系廖磊部队阻击。
此时，李宗仁再次电令李品仙部第31集团军立刻从大别山杀出，将旅行到蚌埠光明一带的日军，分数段截断，第七军守住常熟、镇江一带，其余部队与廖磊部形成前后夹击态势，歼灭被截断的日军。
日军矶谷师团看到后方，忽然出现大批中国军队，将部队防线截成数段，不敢向徐州方向前进，生怕被围歼，先头部队只好回师后撤，与后续部队会合，回师的先头部队在回撤路途，被沿途的中国军队杀伤大部，等日军增援部队从南京出发到常熟一带与回撤的先头部队即将会合时，桂系31集团军又迅速的向大别山撤离。
日军增援部队扑空后，又立即向徐州方向进犯，然而，还是到了蚌埠光明一带，又遭到廖磊部队的阻击，31集团军再次从大别山杀出，又将日军的战线截成数段，再次围歼被包围的日军。日军迫不得已，再次回师，与后援部队会合，31集团军在日军即将会合时，又迅速撤离战场。
如此，反复3次后，日军矶谷师团为保证津浦铁路线的安全，不得不与31集团军周旋，2个多月，始终未能按预订计划与板垣、濑谷支队（旅团）在徐州会合。这就给李宗仁的十万杂牌军创造了机会歼灭板垣、濑谷支队（旅团）这2支孤军深入的日军。
台儿庄战役胜利后，日军迅速从北平、上海方向调集40多万人马，杀向徐州，想与李宗仁部在徐州进行决战，一举歼灭中国军队主力。
因30万中央军延迟1个月到达徐州，最佳战机已经丧失，在双方武器、人员战斗素质对比处于劣势的情况下，李宗仁立刻指挥将近50万军队，向河南、湖北方向有序后撤，跳出日军的包围圈，避免无效的决战，并电令李品仙部在大别山建立后方抗日根据地，同时灵活阻击上海方向的日军，然而李品仙却不愿意留守大别山，李宗仁只好命廖磊任31集团军军团长，留守大别山。
廖磊老成持重，善于打阻击。迫使上海方向的日军进犯速度缓慢，当南北两路日军会合徐州时，中国50多万军队已经完成撤离，致使日军想速战速决的意图落空，开始陷入了持久战的状态。耗时3个月，双方共百万人马的徐州会战就这样无声息的结束了，令日本军方对矶谷师团大为恼火，并下令撤消矶谷师团长的军职，调回日本本土。
恼怒的日军，对大别山的31集团队深恶痛绝，立即展开扫荡。然而廖磊利用大别山的有利地形，和桂系军队擅长的山地作战优势，主动攻击进犯的日军，数月下来，竟歼灭日军约2万多人，仅付出数千人的伤亡代价，敌我双方伤亡比列竟为1：5.创抗日战争以来最好的战绩。
此后，日军再也不敢进犯大别山，廖磊31集团军辖管的大别山区域，也成为中国军队在日军后方的根据地。日军无可奈何的看着廖磊部过着悠哉的日子。