這時的伊東家可謂是兵敗地失，內外交困，上下離心。
伊東義佑如今更是連最為基本的守城之心也喪失了，眼見島津軍兵鋒直指都於郡城，他卻不分晝夜的舉辦宴會來獨自享樂，完全不顧大敵當前的處境。
當島津軍真的兵臨城下後，伊東義佑想都沒想就選擇了棄城，直接帶著少數親信家臣與家眷一同逃到了佐土原城之中，並在此地與從飫肥城逃回的伊東佑兵所率殘部會合。
然而，島津義久並不打算給伊東義佑絲毫喘息之機，在奪取都於郡城後，他就派遣其弟島津義弘、島津家久等人率七百餘軍勢作為先陣，直撲伊東義佑所在的佐土原城。
聽聞島津軍先陣七百餘軍勢即將兵臨城下後，伊東義佑仍然沒有與之一戰的勇氣，沒有做好任何籠城固守的準備，就再度棄城而逃。
伊東家經營十一代的本據都於郡城以及伊東義佑耗費大量人力、物力、財力所修築起來的佐土原城就這樣在幾乎沒有什麼像樣的抵抗下，在一天之內先後落入島津軍之手。
就在伊東義佑帶著少數親信家臣、家眷正狼狽逃竄之際，伊東家之中也是有忠義之人存在的。
以伊東佑審、伊東佑青、飯田肥前守等人為主的少數伊東家重臣依然在抵抗島津家的侵攻。
然而，在島津軍以及上杉將軍家援軍（長宗我部勢、西園寺勢）那凌厲的攻勢面前，無異於螳臂當車一般的伊東佑審、伊東佑青、飯田肥前守等人最終還是因麾下兵力寡少而不敵兵敗。
伊東佑青先是在越野尾率一百餘軍勢意圖突襲島津軍小荷馱隊之時，遭遇了福永祐友、土持親成、上原尚近等島津軍諸將所組成的偏師，結果寡不敵眾，當場被討取。
而伊東佑審、飯田肥前守等人在陷入孤立無援的境地後被迫切腹自盡，也不願向島津家投降。
至此，於建武二年（1335）伊東佑持下向日向一國始，在日向國中延續有二百三十六個年頭，曾經雄踞日向一國的戰國大名伊東家也已經走到盡頭了。
失去了本據的伊東義佑一行人深知，在日向一國已經再沒有伊東一族的立足之地了。
在經過再三權衡後，伊東義佑便決定前往豐後一國，去投奔自稱九州探題的大友宗麟。
按照伊東義佑的原先所制定的計劃，是準備經富田城至財部城，再由財部城進入豐後國境內。
然而，伊東義佑、伊東佑兵、伊東歸雲齋等一行人才經過富田城後不久，富田城城主湯地定時就見伊東家大勢已去，便不願繼續效忠於伊東家，便在島津軍兵臨城下之前就主動開城向島津家投降了。
正所謂屋漏偏逢連夜雨，船池又遇打頭風。
還在逃亡之中的伊東義佑一行人就聽到了流言，作為伊東家譜代家臣出身的落合兼教也倒向了島津家一方。
然而，伊東歸雲齋並沒有經過核實，就直接不經伊東義佑許可，便擅自將落閤家先前遞交的人質處決。
如此一來，原本還沒有倒向島津家的財部城城主落合兼教對此感到憤怒不已，便在一氣之下就派兵阻攔伊東義佑一行人的去路，並準備真的倒向島津家。
已經毫無退路的伊東義佑只好抱著僥倖心理，派出使者東光坊以及山伏慄木太郎五郎二人前去出使財部城，希望能說服落合兼教讓出一條通道，讓自己一行人能夠前往豐後。
結果，使者東光坊當場被正在氣頭上的落合兼教斬殺，僅剩下慄木太郎五郎一人好不容易才逃得一命返回彙報此事。
伊東義佑並不死心，處決落閤家人質一事本就不是自己的意思，都是近臣伊東歸雲齋的擅自行動。
於是，伊東義佑就打算借伊東歸雲齋的人頭來換得落閤家回心轉意。
但是，還沒等伊東義佑正式行動之際，落合兼教就率一百餘軍勢從財部城中殺出，直接對曾經的主君刀兵相向。
這時，發現經財部城前往豐後已是不可能之事的伊東義佑、伊東佑兵等一行人只能轉向穗北城。
值得伊東義佑、伊東佑兵等一行人慶幸的是，天無絕人之路。
穗北城城主長倉洞雲齋並沒有忘記伊東家數代以來的恩顧，就派遣其嫡男長倉藤七郎前去迎接伊東義佑、伊東佑兵等一行人入城休整，伊東義佑也因此暫時獲得了喘息的機會。
可是，前往豐後的通路已被落合兼教封鎖起來。
並不想做島津家階下囚的伊東義佑經過再三思索後，決定做出一場豪賭——翻越米良山前往豐後。
元龜二年，六月十日。
伊東義佑與其子伊東佑兵、孫子伊東義賢和伊東義勝及親信家臣、家眷等一百五十餘人冒險翻越米良山。
米良山山勢險要，山路崎嶇難行。
在炎炎烈日的照耀下，失敗者只能忍受著極度的炎熱與飢餓，並沿著山脊的險路，異常疲憊地在山林之中摸索前行。
這算得上是一條地獄的巡遊之路，等到伊東義佑、伊東佑兵等一行人最終活著抵達豐後大友領境內，就只剩下八十餘人了。
在米良山中顛沛流離了半個月的時間，一行人終於走出大山，並得到了中山城城主三田井親好的接應。
大友宗麟在得知伊東義佑還在人世後感到非常高興，當即派遣親信家臣角隈石宗率一千餘軍勢前去迎接伊東義佑、伊東佑兵等一行人進入豐後。
由於伊東義益的正室阿喜多夫人是大友宗麟侄女的這層關係，加上大友宗麟也希望以伊東義佑能協助大友家攻入日向一國，就對伊東義佑、伊東佑兵等人進行厚待——將大野郡野津寺小路村光明寺的宅邸以及野津院三百町的領地賜予伊東義佑。
大友宗麟的這些舉動很快就收到了極大的成效，被迫投降島津家的門川城城主米良四郎右衛門尉、鹽見城城主右松四郎左衛門、山陰城城主米良山城守、中山城城主三田井親好等人得知伊東義佑獲得大友家的庇護，正居住在豐後的訊息後，紛紛遣使向伊東義佑送來密書，相約“若大友家發兵南下進攻島津家，我等必開城相迎，並能擔任大友軍的先導役.”