在接到大贺的求救电后，日军第十一军总部当时就慌作了一团。园部司令官急令已返回原驻地的第三十三师团驰援解围，同时军参谋长木下勇少将等人也匆匆赶往南昌坐镇指挥。
日军第三十三师团自3月24日出发，沿途须翻越崇山峻岭，而公路则早已遭到破坏，实际道路只能容一路纵队前进，有些地方甚至连马都不能骑，加上中国军队的顽强阻击，所以进展非常缓慢。3月27日，该师团终于在官桥包围圈的东北角打开缺口，并与第三十四师团取得了联系。
3月27日当天，在第三十三师团的拖后掩护下，日军第三十四师团开始组织全线撤退，部队急不可耐地渡过泗溪，向北面的土地王庙村逃去。
让大贺万万想不到的是，他们刚出火坑，转眼又沉到了海底。正是在土地王庙，中方第十九集团军完成了继官桥之外的第二个包围圈：早在五天前，第七十军预九师就进入土地王庙，并在这里建立了中枢阵地，而在日军的侧背和尾部，则有以七十四军为主的六个师平行追击。
日军第三十四师团携带着数百名伤病员，其行军序列为师团司令部在前，病员输送队、野战医院、独立山炮队居中，后卫部队殿后掩护。入夜之后，雷电交加，大雨倾盆，各部队尽快急于脱离包围，但由于道路泥泞，夜色昏暗，加上又需加以戒备，所以行军速度始终快不起来。
3月28日凌晨两点，在土地王庙的西端，日军负责野战医院警卫的野炮兵第八中队遭到中方预九师的围攻。其所属的炮兵大队部向大贺请求增援，大贺考虑到，若零星派出增援部队，整个师团的后撤速度将因此减慢而招致更大的危险，因此给出的答复很是冷酷无情：“由于情况紧急，部队可放弃第八中队，迅速向旅团司令部前进。”
援兵不至，第八中队被全部消灭。覆灭之前，该中队知道难以逃脱，已将火炮全部毁坏。现今北京军事博物馆抗日战争纪念馆中陈列的一门炮的残存炮身，就来自于此次战斗。
至下午两点，日军第三十四师团才突出包围圈。此时他们的伤亡又大量增加，尽管在慌乱的撤退中，许多抓来的民夫已乘机逃跑，但抬运伤病员的大担架队仍长达好几公里。
第三十四师团脱离了险境，为之做掩护的第三十三师团还在后面煎熬着。当天凌晨，中方五十七师、五十八师相继迫近官桥核心阵地，五十一师在扫清锦江南岸之敌后也适时赶到，对日军右侧背发起猛袭。随后，五十七师、五十八师冲入官桥镇，与日军第三十三师团留下阻击的数百名日军展开巷战，激战至下午，七十四军收复了官桥、泗溪，歼敌六百多敌人。
3月29日，日军第三十三师团全线撤退，但当后撤到泗溪西北约五公里时，就开始处处遭到中方各路部队的侧击，为此他们不得不展开全部兵力作战以求解脱。因为轻装救援，日军第三十三师团所携带的粮食弹药并不多，官兵们陷入了饥饿和极度紧张的状态之中。经过多次苦战，最后连山炮部队的炮弹也全部用光了，处于不能射击的状态，只能靠空投弹药来继续维持。后来当第三十三师团的劫后余生者们在谈到在泗溪一带的作战情况时，仍然心有余悸，认为当时那种凄苦的惨状，实在难以用语言来形容。
4月2日，日军第三十四师团、第三十三师团先后逃回原驻地，上高会战以中方全胜的结果完美落幕。
此役中国军队重创日军第三十三师团，毙伤第三十四师团步兵指挥官岩永少将、第二一四联队长滨田大佐以下一万五千七百九十二人，击落日机一架，俘虏日军一百多人，缴获山炮、迫击炮十门，步枪一千多支。
这次会战与以往会战最大的一个不同点，是参战中国军队在数量上并不占有很大优势，甚至在上高保卫战中，还明显少于对手，在这样条件下犹能取得完胜，实属难能可贵，也可以说，抗战以来仅此一例。所以何应钦在对新闻记者发表谈话时说：“上高会战，是抗战四年来最精彩之战。”
正如第十九集团军作战参谋蓝介愚所分析的，上高会战前，广州、武汉、南昌的连连失守，令第十九集团军的多数部队在对日作战时都有些胆怯畏战，但经此一战，畏怯者变成了赣北日军，他们再不敢随随便便举兵西犯了。
“天苍苍，野茫茫，上高东北好战场，锦江夹岸阵堂堂。”上高会战的胜利，固然建立在罗卓英“后退决战”战略的基础之上，但归根结底，七十四军在上高誓死不退，血战数夜，才是致胜的关键。只有战斗的胜利，方能保障战略战术的成功，作为战役指挥者，罗卓英很清楚这一点，他在评点上高会战时说了一句很中肯的话：“第七十四军好比袋子底，这次袋子底很坚强，没有把敌人漏掉。”
整个上高会战，中国军队共计伤亡20333人，其中七十四军伤亡达到10651人，占总伤亡人数的一半还多，无论是付出的代价还是作出的贡献，七十四军都称得上居功至伟。论功行赏，七十四军被颁授“青天白日飞虎锦旗”，第五十一师荣获国民政府第一号武功状，第五十七师荣获第二号武功状，同时被命名为“虎贲师”，全师官兵都戴上了“虎贲”袖标。
王耀武、李天霞、余程万、张灵甫等将领及有功官兵均获勋章或奖章，其中王耀武被授予第一级别的青天白日勋章。以上锦旗和奖勋章均由重庆派专机送达长沙，再用专车送到上高，由罗卓英代表军委会颁授。
罗卓英在对七十四军全军军官的讲话中说：“记得北伐时期，第四军以‘铁军’闻名。现在是抗战时期，我敢大胆地说，第七十四军是抗战时期的‘铁军’！”
上高会战使七十四军名扬中外，它成为世人心目中名符其实的“抗日铁军”，并一步跨上了其发展史上的巅峰阶段。