太兴三年六月祖逖确定刘琨死讯，无比悲痛，立像立碑。命军士司长个个身穿素服，吊祭刘琨。又命公孙成和王安将写给王敦的信带去送到王敦处，暗中告知慕容廆“段部生死，公当自断。”祖逖自此设置将座旁空位，经常自言自语对空位说到：“越石，今戎狄之盛，古之可有？”

　　“汝与我，闻鸡起舞，志在报国。”

　　“汝怎能先我而去？”时而暗自流泪，数日不见一人、不食一餐、不言一语。刘琨婢女武氏南下，到了祖逖处。献上刘琨平时写的诗集，和一支胡笳。祖逖一概收归，将胡笳立于空座，不停的念刘琨的诗，直到声哑低靡才肯停下。

　　八月督军童建与董昭因为战后分配不合，怒上心起。派人遣刺客袭杀董昭又命人送信石虎表示归降。刺客至帐内，董昭与刺客相战。董昭赤手空拳刺客持剑，二人互博十回合，刺客不敌被董昭用胡凳砸昏，众人急忙进入董昭帐。刺客苏醒和盘托出。祖逖不禁赞道：“不愧为我之典韦，能自力而保！”童建得知刺客失手后，惶恐不安携亲信三百人北渡黄河投于石虎。石虎亲自迎接，对童建说道：“汝此来相投，乃弃暗投明。既封你为都尉！”童建感激不尽。

　　太兴四年，二月祖逖派董昭攻汝南郡，桃豹败退而走。两军对峙四十余日后，祖逖，桃豹粮食逐渐不足。祖逖问于众人破解之法。

　　桓宣见此说道：“祖公善兵戈，却不知兵法。”

　　祖约说到：“我兄若不知兵，何有今日之业？”

　　祖逖止住祖约让桓宣继续说下去。

　　桓宣说到：“有言道，实者虚之，虚者实之。如同诸葛武侯骗司马懿之粮，有怒而不敢攻，有粮皆献于我也。”

　　祖逖让桓宣继续说下去，桓宣说到：“桃豹军粮，由汴水而下。我诈而诱之，必获其粮。”

　　祖逖大喜说道：“汝真乃我之郭嘉！”

　　众人商议后于是命士卒一百夜中装粮运送，桃豹斥候查看后报于桃豹。桃豹领军攻之，夺取祖逖军粮。发现祖逖粮车中粮袋，个个饱满，打开看到粟米充盈，于是认为祖逖粮食充足，斥候所报有假，于是斩斥候三人。派人向石勒索粮，要求快速补给，祖逖在汴水设伏兵三百由董昭带领，石勒粮船到后，桃豹命人搬运。粮船离去，粮袋堆积如山。桃豹命人清点，这时伏兵四出，桃豹弃粮而逃。祖约尽夺石勒运给桃豹的军粮，逼得桃豹退守东燕。祖逖命冯宠进占封丘，压逼桃豹，桃豹因军中无粮只能撤兵。三月公孙成和王安回到祖逖处，祖逖问二人王敦与朝中诸事。二人一一作答，得知戴渊将要接替祖逖。祖逖三日一言不发，不进食。众人见状苦求祖逖，为当下而谋。祖逖这才恢复以往。

　　四月桃豹败逃后，祖逖又多次出兵进攻石虎麾下赵军，使石虎疲于防守。石虎问计冉良，冉良不知如何是好。

　　李农建言道：“不如暂时北退，以防祖逖夜袭！”

　　石虎听从。

　　于是二人撤军黄河以北。河南境内有赵固、黄建安、倪超、上官巳、公孙珑（公孙其华）等人割据一方，因各部缺粮，互相掠夺，兵戎相见。倪超部曲被赵固，上官巳二人攻溃，倪超仅剩十人来投祖逖。祖逖接纳倪超并遣王安、桓宣斡旋，王安见赵固说到：“汝自兵一方，何不投祖公？”赵固说到：“于我何益？”王安继续说道：“汝既不投石勒，又为害周边，各路豪强皆想杀汝而并其众！汝疲于应付，若投之祖公。不仅使周身安然，还可为朝建功。”赵固于是答应归附。桓宣见到黄建安时看到石勒的亲信也在这里，二话不说持剑就砍，石勒亲信被桓宣斩杀。黄建安大为恐惧，命人将桓宣逮捕。

　　桓宣说到：“汝乃晋人，今与石勒共谋。何也？”

　　黄建安说道：“我势单力薄，欲降石勒何错之有？”

　　桓宣说到：“今石勒使者死于尔地，汝还想与石勒共谋呼？”

　　黄建安说道：“乃足下所迫