再說周不疑所率渡江軍主力及本部騎兵，仍然在圍攻石頭。雖說以水陸兩面對吳人進行圍攻，已經取得了很大進展，漢軍已經數次登上了吳軍城牆，立足的時間也越來越長，但距離攻破城池，始終還差最關鍵的一步。周不疑想：“看來即使攻下石頭城，短時間內也沒有辦法攻下秣陵，再繼續進攻，江陵的水師恐怕就要到了，應該做撤軍的準備了。”想到這裡，他開始正式做渡江的打算，不過仍沒有放鬆對建業的包圍。
按理來說，在牛渚磯的水師足以助大軍渡江，但考慮到渡江不是一兩日，而一旦渡江時撞上江陵水師，後果便不堪設想。故而周不疑沒有呼叫黃權所部，而是在南岸民宅中徵調船隻。這自然不會有什麼大船可言，但幸運的是，南岸的吳人小船還有很多，幾日下來，就蒐羅出了兩百來艘民船，只是船比尋常艨艟還小了一些，一艘頂多載十五六人。
而後周不疑傳令各軍開始陸續撤圍，各部聞言都極為沮喪。圍攻一月有餘，付出了近萬傷亡，卻連石頭城都沒有攻破，這對上對下都難以交代，很多人為此勸周不疑再緩緩。周不疑主意已定，他對諸將說：“我軍雖然暫時不利，但上游尚有巴蜀與襄陽水師在攻略荊州，只要我等能在此地牽制吳人，等上游水師前來匯合，獲勝不過早晚而已。”可各部得聞後卻更是沮喪，他們原想接機立功，可現在撤軍之後，功勞不都全到襄陽、江州那邊了嗎？
好說歹說之下，撤圍還是開始了。周不疑將渡江的地點選在了燕子磯，也就是建業東北處的幕府山下。燕子磯因有石峰突兀江上，三面臨空，勢如燕子展翅欲飛而得名。而作為渡口，此地地形江流平緩，視野開闊，又方便阻隔背後的吳人突襲，是除去牛渚磯外渡江的最好選擇。只是包圍圈範圍過大，加上三軍士氣低靡，故而撤軍一事進展緩慢，一直到了十二月壬寅這一日，也還有四萬人尚未抵達撤軍位置。
此時周不疑受了些風寒，感到渾身有些乏力，但還是堅持到各軍之間視事。說起來，攻城的這些日子裡，水土不服的軍人很多，不少人因此而喪命。所有死去將士，無法帶走，都只能擇隱蔽高處草草下葬。好在除了疾病之外，糧草還有許多，足夠大軍吃到明年二月。但在渡江的時候能否全部帶走，這又是一個問題。不過周不疑也顧不上這麼多了，他只盼著全軍早日到齊，而後早日渡江休整。
當日下午，西邊山谷中升起了濃煙，在淡薄的霧氣中頗為顯眼。鄧艾登高觀看，見黑煙呈三角形排列，就知道是有緊急軍情發生。他連忙把此事通報給周不疑。周不疑知道大概是江陵水師到了，急忙帶著隨從到營口，等待牛渚磯的最新訊息。
過了一會，有一批斥候快馬奔到營前，下馬不及站穩，就喘著粗氣說：“大都督，上游有大批吳人水師抵達，已在牛渚磯與我軍接戰了！”
周不疑聞言一怔，不料吳人竟然如此果決，直接在牛渚磯開戰了！他立刻焦慮起來，不自覺地開始來回踱步，同時連忙派人去打探牛渚磯的最新訊息。
又過了半個多時辰，斥候飛馬回報，周不疑僅看他們的臉色就知道大事不妙，只得強自站穩了先問道：“戰況到底如何了？”
斥候們面面相覷，都不好開口，還是周不疑再三催促後，他們才艱難說道：“大都督，我們走到戰場右翼，就看見鄧當所部倒戈了！他們正與吳人圍殺我部。雖然我等未能更往裡看，但黃都督處恐怕大勢已去了！”
說完後，全場一片死寂，斥候們甚至不敢抬頭看各將的神色。過了好一會兒，才聽到周不疑說：“再探再報，敵軍有多少人，我軍到底是勝是敗，若敗，損失如何，能否接應，都要說清楚。”斥候們這才抱拳允諾，這時他們看見主將的狀態，都不禁嚇了一跳。寒風中，周不疑面若金紙，渾身顫抖，好似隨時會昏倒。可他到底忍了下來，讓隨從不必攙扶後，周不疑立馬去岸邊檢閱船隻，同時再次催促還沒有趕到江岸的部隊。
等到次日清晨，漢軍終於得到了牛渚磯之戰的具體訊息：水師都督黃權殉國，賈逵、岑光、繆尚、張琰、王昌等二十餘名中高階將領戰死，六萬漢軍水師，出去杜畿率兩萬人抵達北岸逃出昇天外，餘者要麼戰死，要麼投降。而吳軍雖然因黃權緣故，損失了七艘樓船鉅艦，僅剩下鄧當部反水得來的兩艘，但是俘獲了大量的漢軍艦船，麾下船隻恐怕已經超過五百艘。雖然也戰死了不少士卒，可經過鄧當所部的補充後，兵力不減反增，達到了七萬之眾。
也就是在這一天的中午，剩餘的漢軍部隊趕到燕子磯時，浩浩蕩蕩的東吳水師隨之出現在江流之中。此時霧氣沒有完全消散，頭上發白，一縷日光正自雲中滲出。四周麻麻亮，冷風吹來，被汗水溼透的衣裳一時變得冰冷，讓人一陣陣地打哆嗦。這時候，江面上傳來了船槳拍打水流的嘩嘩聲。藉著，如刀的寒風中也傳來了輕微的血腥氣。漢軍帶來的戰馬頓時不安地踏動蹄子，發出準備戰鬥但又茫然的輕輕嘶叫。漢軍將士們湧到燕子磯頭，藉助逐漸透亮的天色，只見密密麻麻的船隊正在江流中聚集。一隊隊艨艟青雀在他們的數里外的江面盤旋，來回不停地穿梭，無數掛著人頭的大旗杆上週字大旗正上下襬動。
校尉閻宇望見這般景象，急忙奔回周不疑帳內，喘著氣報告說：“吳人來了，漫江都是，數也數不清！”閻宇又去找郭淮，郭淮此時正在命人加緊準備東西兩側的工事，防止建業的吳人出來襲擊。他衝閻宇翻了一下眼說：“已經被圍了，不要怕，對面昨日剛打了一仗，今日不會再有動作。先養好精神吃飽了，打起來才有勁。”
吳人嘈雜的行船持續了很長時間，他們也在等待主力到齊。而缺乏水師配合的漢軍，只能保持沉默和鎮定，密集地在江邊修繕柵欄等工事。到了傍晚，天空出現了極為罕見的晚霞，遠看好似血染。陣陣陰風拂過來，柵欄內漢軍旗幟隨風獵獵作響。柵欄外數里外的江面，吳人龐大的船隊向漢軍吹號示威，巨大的聲響彷彿鯨鳴般，而後他們向北岸開過去。
雖然沒有直接進行會戰，但是漢軍卻感到壓力倍增。對面在這個時候前往江北，顯然是要徹底斷掉漢軍的歸路。如果說交戰漢軍還有些許獲勝的可能性，哪怕輸了也痛快。而吳人在此時選擇避戰，那就是打定了主意要將五府大軍留在南岸了。這無異於一場漫長的酷刑，但對此時的漢軍而言，卻想不出什麼反制的手段。
只是即使如此，軍議還是要召開的。漢軍諸將很快收到命令，立刻到燕子磯頭與周不疑商議對策。此時天已經黑了，周不疑還頂著風寒，面孔上泛出不健康的紅暈，而來帳的諸將神情卻更加窘迫。他們打量主將神色，又想著眼下的困局，一時都沉默了。
周不疑強撐著坐在胡床上，先清點來將的人數，結果發現出張昭未到。諸將立刻反應過來：他恐怕也要反覆！狐篤立馬請命去追擊張昭所部，可為時已晚，他還未出帳門，就有斥候來報，說燕子磯南面的張昭所部在天黑之際突然離去，直往建業方向奔去了！
張昭雖然沒有參與漢軍的最高層決策，卻瞭解漢軍的許多虛實，如今讓他這樣逃回吳人中，對漢軍的壞影響不可估量。想到這，漢軍將領們更加感到氣餒和沮喪。
這時有人緩緩說：“這不算什麼大事，我本來還頭疼，接下來到底該不該用他，現在看來也去了我一大心病。”眾人聞言抬起頭，發現這時大都督周不疑已經勉強站了起來，用力繼續說道：“敵軍雖然佔據有天時地利，但到底不敢與我等哀兵死戰，這就代表著還有迴旋的空間，你們不要沮喪。”
想到周不疑過往以來的輝煌戰績，諸將又都振奮起來，也許他能繼續給漢軍帶來勝利呢？
周不疑果然露出一副胸有成竹的神情，直接給諸將釋出軍令：令郭淮所部防禦東南建業動向，李典所部防禦江岸，狐篤所部繼續在丹陽、富春二郡蒐羅船隻，孫資看守西北糧倉，溫恢設法聯絡江北情形，餘下人等則分為兩批，一批在江面練習操舟，一批在岸邊伐木造船。眾人得了軍令，頓時就有了主意，也不再驚惶了，他們邊揣測著主將的意圖邊告退，幻想著周不疑又能創造一次奇蹟。
送走眾將後，周不疑頹然跌坐在行塌上，忍不住地連連咳嗽。如此情形下，哪裡真有什麼全身而退的法子？黃權所部已覆滅大半，這剩下的大隊，自己又能帶走多少人呢？莫非天不佑漢，竟要折戟沉沙於此地？