1937年日军占领南京后，1938年1月26日，日华中方面军分3路北进，把矛头指向蚌埠。华北方面军的矶谷廉介第十师团和本川旅团于1937年12月25日占领济南后，沿津浦铁路南下，把进攻矛头直指滕县;同时，日军板垣第五师团于2月中旬沿台潍公路南下，准备夺取鲁南重镇临沂，迂回台儿庄，然后两师团南下合围徐州。

徐州地处津浦与陇海铁路交叉点，扼苏、鲁、皖、豫四省要冲，是中原和武汉的重要屏障，自古为兵家必争之地。为加强以徐州为中心的津浦铁路的防御力量，国民政府军事委员会在1937年 10月任命李宗仁为第五战区司令长官，驻守徐州。次年1月，蒋介石又在开封召开军事会议，逮捕了为保存实力，丢失山东省大片土地的山东省主席韩复榘，予以正法。

当南线日军围攻蚌埠时，李宗仁调集了于学忠第五十一军、刘士毅第三十一军及廖磊第二十一集团军，共4个军9个师8万人左右，到南线御敌。南线各军按照李宗仁的命令，闪开正面，在津浦路西侧山地隐蔽待机，及至日军进至明光、凤阳、临淮关、蚌埠一线兵力分散时，突然向敌侧后发动猛攻，迫使敌退回淮河南岸。这样，在南线形成敌我对峙的态势。

进攻滕县的敌矶谷第十师团濑谷支队在滕县遭到中国守军的坚决抵抗。3月16日凌晨，敌人在强烈的炮火和飞机掩护下，向滕县城发起猛攻。守卫滕县的川军第二十二集团军第四十一军 (军长孙震)第一二二师5个营3000余人，在师长王铭章指挥下，与敌血战3天，最后全部壮烈牺牲，滕县陷落。

进攻临沂的敌坂本支队，在临沂以北汤头地区遭到庞炳勋第三军团和前来增援的张自忠第五十九军3个师3万余人的坚决抵抗。使日军苦战经旬，付出重大伤亡，也未能攻克临沂城。滕县和临沂战斗，为台儿庄战役赢得了时间。

日军濑谷支队攻陷滕县后，更为骄横，全然不顾坂本支队在临沂受阻，继续冒险前进。3月18日在攻下临城后，直扑韩庄、峄县，沿枣台支线进攻台儿庄。台儿庄位于徐州东北30公里的运河北岸，北连津浦路，南接陇海路，是徐州北部的门户。这时，能不能守住台儿庄，成为徐州会战的关键所在。

第五战区司令部，利用滕县、临沂战斗的时机，调整了军队部署。派孙连仲第二集团军3个师防守台儿庄地区，池峰城第三十一师守备台儿庄主阵地，黄樵松第二十七师和张金照第三十师部署在台儿庄外围东西两侧;汤恩伯军团则留置日军侧后的峄县地区，准备在敌进入台儿庄时，南北夹击，歼敌于运河之畔。

3月23日，濑谷以其步兵第六十三团第二营为基干，配属野炮1个营，组成台儿庄派遣队，沿台(儿庄)枣(庄)铁路支线南下，在泥沟车站与中国守军的警戒哨接战。次日，在强大炮火掩护下，日军猛攻台儿庄东北角，冲锋队一度突破城墙。池峰城师当即实施猛烈反击，敌仓皇撤退;城西三十师乘势侧击敌翼侧，重创敌军。26日，濑谷再以步兵第六十三联队1个营为基干，配属工兵、炮兵、装甲兵，组成台儿庄攻城队，再次对台儿庄发起进攻，并在28日攻破北寨墙角。但这次进攻又被黄樵松第二十七师反突击击退。30日，敌又派第十联队来援，遭到第三十师拦击，伤亡甚重。4月1日和2日，矶谷廉介再把两个联队投入台儿庄。3日，敌军冲进台儿庄，全村三分之二被敌占去，我军死守，牺牲十之七八，但仍保有台儿庄西关一隅之地。

此时，台儿庄周围的战斗也很激烈。3月24日，汤恩伯部在郭里集与敌濑谷支队增援临沂的一个步兵营遭遇，将敌包围全部歼灭。从3月27日起，我第三集团军孙桐萱第十二军和曹福林第五十五军，分别截断津浦路大汶口至兖州段、兖州至临城段，使敌增援部队无法南下，交通运输也发生困难。特别是张自忠、庞炳勋在临沂城外死死咬住敌板本支队，使其不能与濑谷支队会合。这些外围战斗的胜利，有力地支援了台儿庄的作战。经半月激战，敌人伤亡惨重，已无力再战，遂于6日撤退。当日，我军实行反击，将台儿庄敌人全部肃清。7日，将敌赶至峄县、枣庄一线。台儿庄战役遂告结束。

台儿庄大战历经半月余，歼敌11984人，击落日机2架，击毁日军铁甲车7辆，缴获枪支10000余支，弹药无数，取得了震惊中外的台儿庄大捷。台儿庄大捷是抗日战争时期中国军队继平型关大捷之后的又一重大胜利，振奋人心，影响了世界。

台儿庄这座鲁南重镇一度变成废墟焦土，当时的两万多间房屋建筑“无半掌之壁不饮弹”，两平方公里城区，“无方寸之土不沃血”，李宗仁在回忆录中称：“台儿庄区区之地，经此一役之后，几成民族复兴之象征。”战后的台儿庄，被海内外誉为“中华民族扬威不屈之地”。参加台儿庄战场清扫的第27师兵站少尉别志南，在《清扫战场》一诗中写到：

三千人家十里街，连日烽火化尘埃。

伤心几株红芍药，犹傍瓦砾惨淡开。