日军即将投降，在蒋介石授意下，山东国民党省政府主席何思源，匆匆赶到济南。到达济南后，他做的第一件事，就是命令山东各地日伪军坚守城镇，待国民党军赶到向其投降。第二件事就是收编伪军。于是这伙日军的走狗，残害自己同胞、为虎作伥的家伙，摇身一变成为“中央军”。
在国民党军的怂恿和支援下，山东的日伪军拒绝向八路军投降。
针对这一新情况，8月13日，山东分局和军区向所属各区发出了《决心彻底消灭日伪军》和《夺取大城市的部署》。
8月15日，军区发出《部队作战方向的规定》。规定：
鲁中军区夺取济南，并围攻益都、安丘、泰安、临沂等地之敌。
渤海军区以主力配合鲁中军区夺取济南，以一部收复津浦铁路沧（县）德（县）段沿线各要点及寿光、潍县等地。
胶东军区主力进军青岛，一部收复潍县以东之胶济铁路沿线及沿海各城市。
鲁南军区主力夺取徐州，一部向滋阳及其以南津浦铁路沿线之敌进攻。
滨海军区一部配合胶东军区夺取青岛，一部收复沿海地区，进占连云港等，并沿陇海铁路西进，策应鲁南军区夺取徐州。
命令中同时规定，以上5路大军首先应当扫清各自任务区的中小城市，之后再向山东铁路沿线地区和敌占大城市进军。
接到山东军区命令后，各军区迅速编组部队，展开行动。
这5路大军在罗荣桓和黎玉、肖华的指挥下，浩浩荡荡，冒着酷暑，跋山涉水，日夜兼程，分别奔赴各重要城市和交通要道。
第一路大军在前线指挥王建安、政治委员罗舜初的率领下，主力第3师、第4师向胶济路西段和济南方向疾进。8月11日到16日，我军即扫除据点23个，19日解放临朐，22日攻克博山。当日晚，经数日急行军的第一路八路军主力部队，以闪电之势楔入胶济路中段，包围了益都县城。经过激战，歼灭伪军2000余人；随后，于23日解放莱芜县城，25日攻下淄川，全歼日、伪军1800余人。此后，第4师越过胶济路，协同第7师于26日解放章邱。至此，第一路大军共歼日伪军5000余人，切断了胶济路西段，从东南方向逼近济南城郊。
8月17日，第一路大军回师临沂，与第二路大军和军区特务团一起发动了临沂战役。临沂北屏蒙山，东傍沂河，是联系胶济、陇海两铁路的交通枢纽，陇海路北的军事重地。经日伪长期经营，它一直是楔入到八路军鲁中、鲁南、滨海三战区中心的堡垒和“扫荡”解放区的军事集结地。临沂守军伙同从费县窜来的伪军，妄图凭借高墙深壕、明堡暗碉和日军留下的大批武器弹药及粮食，据守待援，拒绝投降。罗荣桓决心铲除这个反动堡垒，于是令第2师4团、警2旅11团、山东军区特务团和沐水独立营，运动包围临沂。另有3000民兵担任前线勤务和运输。
8月17日黄昏，各战斗部队开始对临沂发起攻击。20日至22日，八路军两次向城内发起强攻，皆未奏效。罗荣桓急电临沂前线：“此次临沂之久攻不下，主要由于军事上迟缓犹疑而失时机！”他要求前线指挥员认真研究作战方案，做好准备后再发进攻。9月10日晨，经过充分准备的八路军再次发起攻势，预先埋好的2000公斤炸药，在坑道里“轰”的一声巨响，砖飞石舞，尘烟翻滚，城墙立即被崩开了一个约30米宽的大豁口。八路军各攻击部队乘势冲击。但伪军在“督战队”的胁迫下，拼死封锁缺口。八路军的两次冲锋受阻后，又于10日黄昏从三面同时发起总攻，连续击退敌军的8次反扑，终于冲入城中。八路军汹涌入城，勇猛冲杀。敌人5次施放毒气，也没能挽救其覆灭的厄运。守敌除被八路军毙伤600余人外，2000余人被俘。
战斗结束后，罗荣桓、黎玉、肖华特别在9月14日发出嘉奖令，向参战部队致以热烈的祝贺与深切的慰问。临沂城的解放，使鲁南、鲁中、滨海3个地区完全连成一片。随后，山东省政府、山东军区机关即迁驻临沂。
第二路大军在前线指挥陈士榘、政治委员唐亮的率领下，北向胶济路东段，南向陇海赂东段挺进。
向北进军的第1师及滨海支队，8月中旬于诸城地区出发，迅速越过崎岖的五莲山区。当八路军抵胶县城南30余公里处时，伪军张洪飞将所部调集于胶县及附近地区，企图凭借城垣及坚固工事顽抗。陈士榘当即命令有关部队跟踪压缩，并于19日将其包围。当日晚上，月明夜静。第1师1团派出一个连的突击队，仅用10分钟即登上城墙，其他部队随后也冲入城中，战至次日下午，一举夺下胶县，俘获伪军2000名，并切断了胶济路东段，保障了向青岛方向进军的第三路大军侧翼的安全。同日，八路军又占领了莒县，控制了与青岛隔海相望的薛家岛。此时，从南线向赣榆、临沂地区及陇海路进发的第2师，一路顺利，进展迅速，先后攻取了海尖、石臼所等地。8月21日，八路军收复赣榆、青口等沿海城镇后，继续南进，切断了陇海路东段，逼近海州和连云港。
1945年9月2日，第1师从胶县一带突然进逼诸城。诸城位于胶济路东段南侧，系数条公路的交叉点，是日军控制山东半岛的一大堡垒。城里聚集着张步云所属伪第1、2、3师以及诸城伪警备旅等4000余人。张步云是个心狠手毒、罪积如山的刽子手，日本投降后，他被蒋介石委任为“胶南边防司令”，拒绝八路军的通牒，发誓“就是杀老百姓吃，也要死守诸城”，并掩护600余名日军逃离当地。此敌不除，民众何以安生？9月5日晚，第1师的1、2团冒着大雨，连夜占领了诸城外的东、西关，并于6日晚开始总攻。师长梁兴初指挥各部八路军英勇冲锋，分路堵击。战斗于当晚结束，除张步云率少数残敌逃脱外，计俘伪第1集团军秘书长以下2100余人，毙300余人。是夜，诸城万家空室，群众提着红灯笼，拥上街头高呼：“欢迎八路军！”“欢迎救命人！”在八路军的威逼下，日照城守敌于9月8日也弃城逃窜。整个滨海区一步步地全部被解放。
第三路大军在前线指挥许世友、政治委员林浩的率领下，分南、北两线向胶济路东段和沿海各城市的日伪军发起进攻。
8月17日，八路军解放威海。8月24日，占领烟台和刘公岛。26日攻克即墨。至8月底，第三路大军共毙日伪军1700余人，俘日伪军4400余人，另有伪军1500余人投诚。
至此，地处胶东腹地的平度，成了胶东仅剩的反动堡垒。城内盘踞着王铁相部以及从莱阳、掖县、招远等地逃窜来的伪军共6000余人，日军600余人。由于蒋介石刚刚封王铁相为第9军军长，王铁相立即打起“中央军”旗号，自恃人多枪好，工事坚固，扬言要在平度“二十里内外杀得人烟不留”。对此，八路军打出“打进平度城，活捉王铁相”的标语。许世友亲临前线，指挥第5师13团等部于9月7日晚发起平度之战，各路部队旋风般地勇猛直进，分别从平度城的西、东、南门冲进街巷，同敌短兵相接，巷战竟夜。王铁相被打得无力再战，慌忙逃向居民区，很快也被八路军战士活捉。这一仗，八路军共生俘伪军官兵5700余人，毙伤700余人。
第四路大军在前线指挥杨国夫、政治委员景晓村的率领下，兵分3路，向津浦路济南至沧州段及胶济路西段沿线的日、伪军进攻：8月17日，解放寿光；19日克临邑；20日攻下高苑、桓台、博兴；21日解放广饶；22日占领阳信、吴桥；23日又克胶济路上的临淄及辛店、淄河等车站；22日克齐东；30日解放惠民；31日拂晓，八路军猛攻邹平，15分钟即突入城内，全歼拒降伪军，生俘1200余人；同日，又解放了青城。至此，第四路大军共歼日伪军7800余人，切断了胶济路中段，从东北方向朝济南城郊挺进，与第一路大军形成钳击济南之势。
随后，第四路大军乘势出击，于9月4日解放济阳，9日解放盐山，10日解放宁津。这时渤海区内大股伪军尚有：伪保安第6旅张子良部盘踞在无棣；伪师长田敬堂等部聚集在商河；伪军成建基等几个“司令”，纠集残余部队，散踞于惠民、滨县、青城、阳信等网县边区。杨国夫决定要先“拉网”扫清“四县边区”的残伪，然后再攻取无棣和商河。
参加“拉网战”的八路军部队在民兵的配合下，于9月10日在“四县边区”构成一个周长80公里的大包围圈，然后逐渐拉紧“网绳”，将残伪压挤到徒骇河畔。紧接着，八路军从四面八方同时发起攻击，伪军除成建基等少数漏网外，大部被围歼，2000余人被生俘。
与此同时，八路军的部分主力、各县独立营和3000多名民兵，已先将无棣城围困起来。无棣城墙高城坚，四野开阔，四关外围有宽25米、深四五米的护城壕，壕内灌满水，插遍竹签。张子良气焰嚣张，自吹无棣是“金汤城池”，攻打不破，八路军已兵临城下，他竟然召人唱大戏。9月12日开始，八路军在城外挖掘了3道总长40多公里的封锁壕，使无棣城守敌成为瓮中之蟹。杨国夫、景晓村命令主力部队于9月16日晚开始攻击。战至17日晚，八路军全歼守敌，击毙张子良，俘敌5400余人，毙伤伪军400余人。
此时，商河城内守敌也已成为另一瓮中之鳖。八路军部队和民兵于9月10日即包围了该城，并围着城外挖掘了周长20公里，深、宽各4米的封锁沟。当无棣解放，八路军主力部队移师商河之时，城内的伪军早已军心慌乱。9月26日，八路军发起总攻，迅速打开了东城门。伪师长田敬堂吓得慌忙率部投降。这一战，又有伪军官兵300余人被击毙，4500余人被生俘。至此，渤海区腹地全获解放。自10月16日至12月31日，渤海军区部队还发动了平原、禹城战役，歼日军大队长以下200余人，伪军近1000人。
第五路大军由前线指挥张光中和政治委员王麓水率领，向津浦路徐州到兖州段及徐州东北地区进攻。8月11日，这一路大军攻进阎村，歼敌2400余人。8月18日，罗荣桓、黎玉电令张光中、王麓水：“迅速挺进，夺取徐州。”当日，第五路大军就解放了兖州以南的官庄车站，切断了津浦路。泗水守敌见八路军来势汹涌，慌忙逃往兖州。19日，八路军顺利解放泗水和曲阜；23日，夺下台儿庄；随后，将进攻目标转为峄县。
峄县县城是枣庄煤矿南郊的屏障。守城伪军依仗日军支持，拒绝向八路军投降。9月1日，罗荣桓、黎玉电示张光中、王麓水：“你们的作战重点，应放在峄、枣两点。我如能首先夺取峄县，则可造成枣庄完全陷入我紧缩包围中。”在王麓水的指挥下，八路军主力第8师于9月7日23时展开了峄县战役。在夜幕和炮火的掩护下，八路军突击队迅猛越过城墙，从东门、北门等处同时突入城内。北门伪军在八路军的猛烈打击下，首先缴械。于是，八路军迅速向南、向西压缩，攻击伪县政府及城防指挥部。至凌晨2时，八路军即占领全城，全歼守城伪军，俘敌1400余人。
在这同时，鲁南铁道游击队也大显神通，于9月8日夜在津浦路预设手雷，炸毁日军铁甲车1辆，尾随其后的运兵车也翻车出轨。临城日军铁甲车闻讯来援，又被预设的手雷炸毁。不久，从南面开来的日军一列兵车，因不明情况，同刚翻车的日军互相射击，致使日军死400余，伤300余，毁坦克1辆、车头两个。（黎玉、林浩等：《横扫日伪军的最后一战》）
罗荣桓的五路大军如五道巨流，不断围城攻坚，席卷山东大地。