除了淮北阻击战斗之外，日军还在鲁南地区发起了进攻。
1938年2月上旬，当南线战场中日两军正在蚌埠地区淮河南岸进行激烈的渡河攻守战斗时。
第五战区为防止北线日军乘机南下，遵照军事委员会的意图，采取以攻为守的战术，于2月6日命令第3集团军向济宁、第22集团军向邹县、第3军团向蒙阴发动攻势。
第3集团军当时仍防守于鲁西南地区，总司令部位于曹县，第12军驻定陶、城武地区，第55军驻金乡。
代总司令孙桐萱接受的任务主要是以主力攻占济宁，以一部攻占汶上，尔后向济宁、兖州间实施侧击，策应主力作战。
目的是确保陇海铁路的安全，和威胁沿津浦路南下日军的右侧翼，相机切断津浦铁路之交通。
日军于1月4日占领兖州、曲阜，6日占领邹县，11日攻占济宁。
此时，济宁日军为第2军第10师团第8旅团的第39联队主力，约1500人，大部控制于南关，城中守卫部队约400余人。
汶上日军为第39联队的第3大队，约500人。第8旅团主力与第10师团司令部位于兖州。
孙桐萱于2月10日下令，命第55军由金乡向济宁南关之敌进攻；命第12军的第22师由定陶经巨野、嘉祥迂回至济宁以北的二十里铺附近，尔后向济宁北门进攻，协同第55军收复济宁城。
命第81军对汶上之敌进行袭扰。规定2月12日拂晓前到达进攻出发地位，12日开始进攻。
曹福林的第55军派出一部兵力前进至济宁西南安居镇附近运河西岸，进攻开始时仅以第171团及第439团各一部渡河。
向济宁火车站及西关等地进行袭扰，并未以主力实施进攻，不久即为日军击退。
谷良民的第22师到达嘉祥以东的运河西岸后，部署以第64旅为主攻部队，第66旅为预备队，随师部控制于运河西岸。
第64旅由大长沟通过运河木桥，于12日拂晓前到达进攻出发地位。
第127团控制于二十里铺，掩护主力进攻，对汶上日军进行警戒。
第128团及第129团秘密配置于济宁北关两侧，旅部推进至兴文镇。根据事先侦知的情况，本来预定天明后以小分队化装成居民潜入城内，然后发起进攻，里应外合，控制城门，歼灭城内日军。
但日军已有觉察，当天未开东、西及北城门。第64旅旅长时同然急令北关的两团改为攀城强攻。
12日22时左右开始用长梯多路同时攀城进攻，伤亡甚众。后在西北城角处击坍一段城墙，约有9个连从缺口突入。
日军第39联队大佐队长沼田多稼藏将主力调入城中增援，首先以反冲击控制了城西北角的缺口，切断城内外中国军队的联系，然后向突入城中的部队发起围攻。
双方在北大街及城西北隅关帝庙一带展开了激烈的肉搏巷战，逐屋争夺。突入的部队孤军奋战，弹药及人员均得不到补充，血战一日夜，至14日拂晓，9个连的勇士全部壮烈牺牲。
在城北的第64旅残部，13日23时接到孙桐萱令其向运河西岸撤退的命令，在当地群众协助下，从北关外小道通过沼泽地转移至运河东岸，由第66旅接应，用民船渡过运河，到达西岸。
掩护撤退的后卫营损失较大，营长战死；负责接应的第66旅旅长薛明亮亦中弹负伤。
第3集团军实际参加进攻济宁战斗的不过1个旅的兵力。在人员不占真正优势、武器装备处于绝对劣势的情况下实施攻坚战斗，虽然广大爱国官兵拼死奋战，仍不可能实现军事委员会及第五战区的战略企图。