公元196年，袁術攻打劉備，爭奪徐州。劉備派張飛守下邳，自己則將兵在盱眙、淮陰抵抗袁術，雙方僵持了月余，互有勝負。下邳相曹豹是陶謙的舊部，與張飛不和，曹豹堅守營寨，又派人去找呂布來救。時袁術給呂布寫信，勸其乘機襲下邳，答應事成后，援助呂布糧草。呂布很高興，率軍水陸并進。呂布軍隊抵達下邳西四十里時，劉備的中郎將丹楊人許耽派司馬章誑前來迎接呂布，并向呂布透露了張飛和曹豹相爭，下邳城內大亂，丹陽兵都在西白門城內等待呂布的到來，于是呂布便大舉進軍，早晨到達城下。天亮后，丹陽兵打開城門。呂布坐在城門上，指揮軍隊大破張飛的部隊。呂布俘獲了劉備妻小以及劉備的部曲將吏士們的家人。[3]

劉備得知后，引兵還，進至下邳，兵馬被呂布軍隊擊潰了。劉備、張飛聚集戰敗失散的士卒，向東進取廣陵，與袁術交戰，又一次被戰敗了。[4]

后來，由于形勢所迫，劉備、張飛只好暫時依附呂布，駐軍小沛。呂布還劉備妻小。劉備駐小沛，發展較快，不久便聚眾萬余人。公元198年（建安三年），呂布軍隊用來購買軍馬的黃金被劉備的部下搶走。呂布于是派遣高順等人攻打劉備，劉備不能抵擋。夏侯惇奉命前來救援劉備，卻也被高順擊敗。不久，高順等人徹底擊潰劉備軍。[5-6]劉備失去了立足之地，只得攜張飛等人投奔曹操，并與曹操聯合。

劉備、張飛跟從曹操進攻呂布。呂布敗亡后，張飛被任命為中郎將。公元200年（建安五年），劉備衣帶詔事情泄漏，率領關羽、張飛逃走，殺徐州刺史車胄，讓關羽據守下邳，自己與張飛屯小沛。曹操派劉岱、王忠前來攻打，被張飛、關羽擊退。后曹操親自出馬，劉備戰敗，關羽被擒，劉備與張飛逃奔袁紹。[7-8]

公元201年（建安六年），張飛與劉備在汝南聯結劉辟、龔都等人擾亂曹操后方，許都以南紛紛響應，曹操派蔡陽前來攻打，但被劉備所殺，后劉備被曹仁擊敗，張飛隨劉備投奔荊州劉表，駐扎新野。

據水斷橋