八路军如此大规模的行动想要瞒过日军很难，华北方面军司令部的第2课也察觉到了问题，因此派出精干力量以谍报队、电台侦听、破译密码、电台定位等手段，观察、判断八路军及抗日根据地的动态。
但由于八路军的严格保密措施和长时间养成的保密习惯，使华北日军在遭到这次大攻击前，竟然对八路军的作战计划一无所知。只是出于职业习惯，感觉到山西战场和河北地区情况有些诡异。
甚至于当晋察冀军区部队的1个团在8月20日下午，到达娘子关附近的山上，观察娘子关的地形时，该地的日军也未发现异常。且有几个日本兵，尚在其驻区骑民家的毛驴戏闹。
8月20日晚，在晋东北的第120师，在五台山区的晋察冀军区，在晋东南的第129师，同时按照作战计划，向当面之敌发起了进攻，这场空前未有的大破袭战拉开了帷幕。
八路军晋察冀军区的主力部队冒雨通过山谷河流，避开日军外围据点，直接运动到正太路两侧，当晚向正太路全线突然发起攻击。
右纵队的两个团负责破击正太铁路娘子关至乱柳段，第5团一部首先潜入娘子关村，歼灭村内伪军，黎明攻克娘子关，随后主力部队掩护工兵，大量破坏敌工事，并将关东铁路桥炸毁，随后主动撤离娘子关。
第5团第1营第1连袭入磨河滩，遭到日军反击，21日拂晓撤出车站。
当晚第1连渡过棉河，攻入车站，敌退入营房抵抗。
而磨河滩日军有近1000人凭坚固守，值天降大雨，棉河水涨，不能徒涉，第1连遂抢占车站西面村庄固守。22日下午，日军400多人开始反击，第5团主力在棉河北岸向敌实施火力袭击。第1连在歼敌50余人后，撤出战斗。
与此同时，第19团曾攻入巨城和移穰车站。
右纵队则是炸毁了岩会附近的几座座石桥及木桥，正太路娘子关至乱柳段日军交通完全断绝，日军各据点各自为战。
晋察冀军区中央纵队的三个团负责破袭正太路娘子关至微水段和井陉煤矿，20日夜，第3团对井陉煤矿的岗头老矿和东王舍新矿同时发起攻击。第1营在矿工帮助下迅速攻入新矿，歼敌警备队一部，残敌躲入碉堡死守。
第2天下午，全歼守敌。
随后将矿区重要建筑全部炸毁，搬走大部物资，使其半年以上不能恢复生产。
同时第3团还夺取了贾庄、南正日军据点，破坏了南正至微水间铁路。
第2团攻占乏驴岭铁桥东端堡垒，掩护工兵将铁桥炸毁一段，并一度占领蔡庄日军据点。
第16团第2营于20日夜攻入北峪，将守敌大部歼灭，21日掩护工兵破坏北峪石桥；其他各部攻占地都，并将南峪守敌大部歼灭。
左纵队三个团负责破袭微水至石家庄段，20日夜，平井获支队袭击岩峰，爆破铁路；特务团掩护群众破坏岩峰至威州电线、公路。
第120师，在发起进攻后，破袭了同蒲路北段和晋西北地区的一些主要公路，攻克了宁武以北的阳方口等车站和静乐县以东的康家会、以南的丰润村。破坏了同蒲路的北段和忻县向西至静乐、汾阳向西至离石等各处公路。击毙击伤日、伪军共800多人。
第129师，从战役开始后即对娘子关以西直至榆次铁路沿线的敌据点展开攻击，同时破坏桥梁和铁路。
攻至阳泉市郊的部队，占领了狮垴山，并打退了敌独立混成第4旅团直属的炮兵、工兵、辎重兵及其独立步兵第15大队1部连续数天的反扑，掩护阳泉以东、以西的部队，在铁路沿线进行破袭。
当时在阳泉的日本侨民约为500人，他们有些以为这次已无活的希望，因而不少穿上好衣服等死。
此时在阳泉市内的敌独立混成第4旅团长片山省太郎中将，他和外界的交通、有线通讯已被隔断，有些据点的战况以及部队是否还存在，也无从知道。