誠如劉燮所言，呂蒙與魯肅之所以會下山斫營，正是打著順勢撤退的主意。他們放火燒鹿角的時候，後隊的人已開始陸續撤離八公山，往西南面轉進。在那裡，壽春水師早已在等待接應，一見他們到來，立刻高舉火把。四野火光漫山遍野，連綿不絕，顯得異常壯觀。
在此守備的黃權見到這幅景象，初時大為驚詫，還以為吳人將在南面開展主攻，當即旗鼓傳令，令麾下將士各守陣地嚴陣以待，他自己則在望樓上眺望敵情。而隨著眼前的火光越聚越多，吳人射出的箭矢不增反減，這讓黃權也意識到些許不對。但他終究是謹慎之人，哪怕吳人的火把大規模向南轉移，他也不敢貿然出兵阻止。等劉燮的軍令傳來的時候，呂蒙等吳人將領已完全離開八公山，沿著淮河向南面去了。
此時天色已經發白，漢軍們依稀能夠看見營外的一片狼藉。除去滿地的箭矢之外，四處都是夜戰時拼殺而死的兩軍屍體，很多鮮血都已經滲入了土壤，只能看見些許淡漠的紅色。除此之外，就是滿地無序的腳印和車轍。極目遠望，無論是在高山還是在灘塗，吳人的輜重、旗幟完全不見了蹤影。
得知吳人已經遁去，黃權向天子請示，是否先派人佔據八公山，再分兵去追擊。然而劉燮卻沒有任何再等的雅興，他回書說：“吳賊苦戰一夜，必定疲憊至極，此刻縱馬去追，不須片刻便可趕上，爾爾山營，如何能比數萬大軍！”
兩軍主將皆被天子駁斥，自然也不敢抗旨，匆匆在營中點齊兵馬。此時漢軍能戰的尚有九萬人，能戰者約有八萬，剩下的皆是受創養傷的傷兵。劉燮留下六千兵力與傷兵守營，餘者便隨天子傾營而出，騎士乘馬，水師浮舟，兩軍水陸並進，沿淮河直追南下的吳軍。
大軍出發，過了龍茅頂後，狹隘的山道逐漸變得開闊，抬頭看天色，朝陽仍不見蹤影，天空雲層密佈，空氣陰沉凝重。再過一處古冢時，雨霧瀰漫，從天上飄灑下來細細的雨珠，把騎手們戎服的袖子都潤溼了。當地的嚮導說，那處古冢是古名將廉頗之墓。
踏上行程後，劉燮的怒氣已經消了。聽聞此地便是廉頗墓，他一時生出些感慨。這位自河北聞名的古之名將，早年屢破齊燕，又南御強秦，後世將其與白起、王翦、李牧並稱，可末了卻因年邁不被人重用，最後下葬在異國他鄉的八公山下。劉燮對郭淮等人說：“我在宮中，太后常常對我感嘆，說韶華難留，青春不再，名將又有何不同呢？你們有機會立功，就千萬要珍惜才是。”
等過了廉頗墓，就能看見淝水河口了，在那裡已經沒有欺負的山丘，大地也因此一望無垠，四野更顯陰暗蒼茫。前軍騎士往前探看，只見南邊的天邊槊戟旗幟如林，從南邊的淝水岸邊連綿而來，一直延伸到眼前的淝水河口。連忙撥馬回來報告說：“賊據佔淝水河口列陣，靜待合戰。”
劉燮得聞後，不禁摩挲雙手，對眾將笑道：“想背水一戰，吳將裡不乏膽氣啊！”但他隨後一轉道：“可惜，此刻我佔盡天時，怎會給他絕地反擊的機會？傳令下去，全軍固守！等他們開拔，我軍再跟進！”漢軍即刻沿河列陣，明明是以騎軍為前鋒，卻全然沒有準備進攻的徵兆。
見此情形，吳軍果然遲疑不定，雙方對峙一個時辰，卻沒有發生任何戰事。就在他們緊張之際，卻愕然發現，漢軍後軍中升起了杳杳炊煙，原來漢軍已開始埋鍋造飯了。遲疑片刻後，吳軍又重新開拔，一面監視漢軍，一面向南沿淝水開進。
而劉燮對此好整以暇，他令全軍從容用膳，而黃權等將也明白了皇帝意圖，私下議論說：“我軍有騎軍在此，只要相隔在數里之間，隨時都能尾隨其後。這就好比一條狼盯著獵物，獵物擔驚受怕，如何敢走得快？陛下的策略就好比這漠北蒼狼，要在這淝水之畔，將這群賊子拖死累死！”
吳軍對此自然也不是沒有察覺，他們打算留下朱然一部殿後，其餘各部火速行軍。但到底也不過是步卒，剛行出數里，便見側翼有數千漢騎飛快趕上，直趨吳軍的左前方。呂蒙等人不敢冒進，只好又令各部列陣防禦，以防備側翼時刻可能出現的襲擊，而後稍過片刻，後方漢軍又至。
如此一來，吳軍行軍一日，也不過走了短短三十里，正好與壽春隔河相望。追兵在後，他們沒有再入城的想法，而是繼續向合肥南行。劉燮也仍舊按此前佈置，令漢軍始終緊隨其後，又不至於接戰。兩軍就這樣一直保持十里左右的距離。
走走停停間，又是兩日過去了。往年的淮南，此時正是秋高氣爽、風和日麗的佳節，可現在卻依舊看不見太陽，只有厚重的雲層在頭頂凝聚，天氣變得愈發陰沉，人和鎧甲都蒙上了一層青黃的陰影，這是要下大雨的徵兆。對吳人來說，這算是一個好訊息了，土地泥濘後，或許後面的漢軍會因此放棄追逐。
但至少現在，漢軍還沒有撤退的意思。從追擊的第二日開始，側翼的漢騎就開始頻繁遣使向吳軍喊話，內容千篇一律，無非是些勸降的話語，此前他們就已說過很多回了。他們說：“諸位將士你們聽著，合肥已經被我軍周大都督包圍了，換句話說，你等歸路已被我扼斷，再打下去，無非就是全軍覆沒。你們何苦為孫權賣命呢？只要放下武器，歸順朝廷，天子就既往不咎，給你們放開一條生路！再負隅頑抗下去，又如何擋得住我王師一擊？無非是化作泥粉罷了。”
然而他們話音剛落，吳人便以箭矢作為回答。一陣稀疏的箭雨落下，有一人中箭倒地，其餘幾人則側身躲避，雖然再沒有人受傷，但座下的戰馬有些恐懼，以至於踏著的馬蹄聲有些散亂，只是他們還沒有離開，仍在原地徘徊。
吳軍本來在八公山佔盡優勢，此時棄山而退，冒雨而行，心中正窩了一肚子火。漢騎的勸降聲在他們聽來，不過是虛張聲勢而已，反而大聲辱罵道：“好男兒交戰，從來都是乾淨利落，哪像你等小兒？戰又不戰，退又不退？有膽子就來分個生死，何必囉囉嗦嗦？！”說罷又繼續放箭，直到漢騎都盡數撤走，他們又發出嘲笑的聲音來。這幾日下來，吳人們已經沉不住氣了。
就在他們嘲笑宣洩的時候，幾滴水打在吳人臉上，他們抬起頭，積蓄了幾日的雲層終於開始下雨。驟雨從空中直落而下，雨滴打在將士的鎧甲和兜鍪上，發出清濁不一的響聲。在這些聲音的掩蓋下，喧鬧聲一下子就靜了下來，雨水劃過眾人的臉龐，滴落到泥土裡，而後順著層層疊疊的腳印蜿蜒流入淝水。
但在這片簌簌的寂靜之中，似乎又隱藏著什麼，孕育著什麼，讓吳人們忍不住側耳傾聽。就像是一個即將成熟的嬰兒，正在醞釀出生後的第一聲啼哭。猛然間，馬蹄聲和歌聲一起衝破雨幕，響徹在吳人耳邊，前來的漢騎唱的是一首壯懷激烈的北府軍歌：
“易水過泉州，胡笳邊塞京。臥披燕山雪，起照盧龍冰。
置陣千重雲，張弦十萬騎。走馬搖山嶽，氛塵白晝昏。
黃鵠志寥廓，曾敵百萬兵。暫笑烏桓淚，來日待孟津！”
歌聲唱過一遍後，踏雨而來的騎士們連聲高呼：“殺！殺！殺！”
在吳人還不能反應的時候，七萬漢軍已被劉燮分成三路，一路堵截吳軍的前軍，一路衝擊吳軍的後陣，一路從側翼直搗吳軍中軍。弓弦拉扯聲和斫刀的砍擊聲突兀響徹起來。漢軍就如同蓄勢已久的狼群，而這幾日裡，吳人看似憤怒，實際上已完全洩氣，即使此前有漢騎前來勸降，他們也並未結陣守禦。這導致吳軍的陣線極為散亂，幾乎瞬間就被衝入的漢騎撕碎了。而他們發起的所謂抵抗，就像血水中打漂的泡沫，漸漸地也終於消失掉了。
唯一倖免於難的只有吳人水師。他們停靠在淝水邊，既防禦著身後的漢軍水師，同時又給河邊的同伴做掩護，奈何大雨也遮擋了水師的視線，使他們不敢做隨意調動，只能不斷向岸上射箭，盡力將逃過來計程車卒收攏船上。可朦朧之間，船上的吳人們也能感覺到，岸上的同袍們已是有心無力，潰敗難止了。
主持這支水師的乃是吳人老將鄧當，他眼看著陸上大軍瀕臨崩潰，面容也變得麻木，心中不知在想些什麼。隨行的親信則心中焦急，向他詢問說，是否要拋下呂魯肅兩位都督，直接率眾逃走。不料鄧當卻苦笑道：“逃？子明乃我妻弟，我今日棄他而走，世人將如何看我？縱然真逃了，又逃到何處呢？縱使回到江東，也無非是等死罷了。”
說罷，鄧當下定決心，即刻遣使向漢軍請降。
隨著淮南水師倒戈，吳軍的最後抵抗也就此消失了。自此，淮南之戰以吳軍的全面潰敗告終。吳人不止丟失了整個淮南，還損失了全國近一半的兵力，江東防禦蕩然無存。