而刘备是何时回荆州的呢?山阳公载记曰:备还谓左右曰:孙车骑其难为下，吾不可以再见之，乃昼夜兼行。建安十四年，刘备表权行车骑将军，领徐州牧，备领荆州牧，屯公安。可知刘备返荆在建安十四年后。又“周瑜诣京上取益州之策，权许之，瑜还江陵为行装而道于巴丘病卒，时年三十六。通鉴考异曰:按江表传，瑜与策同年，策以建安五年死，年二十六，瑜死时三十六，故知在建安十五也。之后，权遣孙瑜率水军往夏口，备不听军过，谓瑜曰:“汝欲取蜀，吾当被发入山，不失信于天下也”。使关羽屯江陵，张飞屯秭归，诸葛亮据南郡，备自往屏陵。权知备意召瑜还。可知此时南郡已在刘备手中，刘备至迟在建安十五年返荆州。
    
    刘备在孙吴的这段时期到底干了些什么?史书上没有明确记载，但通过爬梳史料，我们依旧能明晓一鳞半爪。建安十四年末，周瑜与曹仁战于南郡并最后取得胜利，曹操有意于平凉，东吴东线的压力逐步减轻，刘备的作用对于孙权而言不是那么重要了，便有了压制刘备的意向。但由于曹操在北，刘备势力在荆州较为强大，不可卒制。东吴便以刘备要挟，换取更大的利益。建安十五年，首先将长江上游的防务交给刘备，为了安置上游军务，“分豫章为鄱阳郡，分长沙为汉昌郡，以鲁肃为太守屯陆口”，防备刘备。另外使步骘出领郑阳太守，岁中徙交州刺史立武中郎将，领武射吏千人便道南行，进取交州。似乎南郡不是白给，而是以汉昌郡、交州作交易。刘备不得不接受孙吴的条件，才得以仓皇返回荆州。
    
    而步骘是如何占据交州的呢?《水经注》浪水注引王氏交广春秋曰:建安十六年，吴遣临淮步骘为交州刺史，将武吏四百人之交州，道路不通，苍梧太守长沙吴臣(巨)拥众五千，骘有疑于臣，先使谕臣，臣迎之于零陵，遂得进州，臣既纳骘，而后有悔，骘以兵少，恐不存立，臣有都督区景，勇略与臣同，士为用。骘恶之，阴使人请臣，臣往告景勿诣骘，骘请不已，景又往，乃于厅事前中庭，俱斩以首询众。步骘杀吴臣、区景，使严舟船合兵二万，下取南海。苍梧人衡毅、钱博，宿臣部伍兴军，逆步骘于苍梧高要峡口，两军相逢，于是交战，毅与众投水死者千又余人。自古以来就有从零陵或豫章进入交州的通道，三国时期又有从建安海道入交州，许靖浮涉沧海，南至交州，即是，又有吴末李勖从建安海道进军交州。为何步骘不走豫章道或建安海道，却能穿过刘备的势力范围并且在吴巨的迎接下得以进州?史书不可考，笔者以为，刘备在东吴期间就已经达成了用交州换南郡的交易，或者是东吴要挟的结果。刘备以为步骘的数百人不足为虑，何况旧友吴巨拥众五千，步骘故得以从零陵进入交州。吴巨不能接受这既成的事实，建安十五年，便将刘备的忠实代表赖恭(在蜀官至太常)逐出交州，独占交州。建安十六年，刘备、诸葛亮等业已入川，荆南空虚，步骘得以四百人入交州。吴巨迫于压力，不得不迎步骘入交，但遭杀害，这也是刘备始料不及的。此外，三国志记载步骘所领为千人，为何《水经注》所载只有四百，可能步骘是分兵南下交州，一路由零陵进入以迷惑吴巨，另一路则由建安海道或豫章经横浦(大庚岭道)入交。到建安十六年，一切准备就绪，东吴马上遗军征伐，“使严舟船合兵二万下取南海。”士燮归顺，由是岭南始服于权。孙权攻取交州一个重要原因是，全据长江之势是孙吴的既定政策。由于关羽等屯兵上游，要想争夺益州，只得取交州另辟蹊径。攻占交州也能对荆州拥有战略优势。
    
    建安十九年，刘备取得益州，孙权想索回南郡，当时南郡有关羽重兵把守，也是刘备跨有荆益，两路北伐的战略要地。倘若，孙吴占有南郡，荆南四郡则为东吴所包围，时刻有被吞并的危险，因此，刘备不可能同意东吴的要求。二十年.孙权以先主已得益州，使使报欲得荆州，先主言须得凉州当以荆州相与。权忿之，乃遣吕蒙袭夺长沙、零陵、桂阳三郡，先主引兵五万下公安，令关羽入益阳，是岁曹公定汉中，张鲁遁走巴西，先主闻之，与权连和，分荆州江夏、长沙、桂阳东属;南郡、零陵、武陵西属。孙权是这几次斗争最大的赢家，不但占有交州.而且夺取了荆南三郡。刘备只得承认东吴占据长沙、桂阳的现实，而争取了零陵，零陵是交州的门户，是对交州最能保持影响的地区，刘备历来重视这个地区。权遗吕蒙督鲜于丹、徐忠、孙规等兵二万取长沙、零陵、桂阳三郡。……蒙到皆服，惟零凌太守郝普未下，……蒙使人诱普，普降，尽得三郡。郝普的能坚守，说明零陵比其他地方防守更加严密。夷陵之战，备既败绩，而零、桂诸郡犹相惊扰，处处阻兵，骘周旋讨，皆平之。可知刘备在荆南颇具影响。为了保有荆州北伐基地，二十四年，刘备夺得汉中，便遣刘封、孟达、李平等攻申耽于上庸，……试图建立跨有荆益的第二纽带。此时刘备称王，势力强盛，打破了孙刘之间原有的平衡，孙权由于北有曹操的压力，西有刘备的进逼，只得全据荆州，争取地理均势，三国版图至此完成。