祖逖进驻沛国派参军殷乂去联络张平，樊雅二人。此时凉州刺史张寔拥护晋王司马睿的奏章传至，祖逖派遣其弟祖约，携带劝进文，到建康表忠心。

　　殷乂到了张平处，殷乂到了张平这里，士卒个个面黄肌瘦。

　　殷乂便对张平说道：“为何士卒如此不堪？”

　　张平说道：“自永嘉之乱来，此地粮仓见底，现士卒以树皮为食，以为充饥！！”

　　殷乂一脸轻蔑看到张平。

　　殷乂说道：“如此岂能为祖逖效力？”

　　张平含着怨气说道：“难道没有祖逖，我一人不能抵抗石勒吗？”

　　殷乂说道：“臭鱼烂虾，岂能成事？”

　　张平持刀斩了殷乂，其麾下谢浮说道：“祖逖派此人前来，并无成心与我为盟。不如举兵自守，自建功业！”

　　张平听从，与祖逖相抗。祖逖攻城不下，遂使用离间计，众人商讨对张平部下谢浮下手，夜间祖逖命王安携带金银面见张平部将谢浮，谢浮见王安携带金银珠宝立刻邀入帐内。

　　王安对谢浮说：“汝等本为晋人，今据城固守。何也？琅琊王司马睿已经率领吴地三十万军欲以北伐，届时尔等若继续固守，恐不得善。今祖公恩浩，特赦尔众，尔众若归附则各有奖赏。”

　　谢浮说到：“吾等本无与祖公相抗之意，乃张平一意孤行。足下可留钱财，我谋张平后，即率军而归。”

　　谢浮借与张平商讨军情之机，杀死张平，率众归降。祖逖进据太丘，但因军中乏食，处境艰难。张平死后，樊雅仍占据谯城。夜中樊雅率众夜袭，直逼祖逖大营，军中大乱。

　　祖逖军中督护董昭持矛以一当百大破贼军，终于击退樊雅，祖逖赞董昭有典韦之勇。祖逖又率部追讨，却遭到张平余部的迎击，便向乌堡主陈川、南中郎将王含求援。陈川、王含分别派部将李头、桓宣率军助战。李头在征讨樊雅时，连破樊雅三阵力战有功，颇得祖逖礼遇。

　　常叹道：“若能得祖逖为主，死而无憾。”

　　陈川闻知大怒说到：“汝主吾也，何以赞他人之贤？”

　　怒上心起遂杀死李头，李头的亲信冯宠便率所部四百多人投奔祖逖。陈川更加恼怒，至祖逖书文破口大骂。又派部将魏硕劫掠豫州诸郡，结果被祖逖派兵击溃。陈川败逃，便率部归附石勒。石勒命其驻扎于豫州北，以阻遏祖逖北伐。

　　桓宣到了祖逖处，祖逖就让桓宣去劝降樊雅，桓宣单马入谯城。

　　对樊雅道：“祖公欲联慕容廆和刘琨荡平刘聪、石勒。仰仗于公，以公为后援。先是殷乂轻薄无礼，并非祖公本意。如此时和解，可建立忠勋，能保富贵。但若还要固执，朝廷派出猛将，凭你手下乌合之众，依据一座危城，北边又有强贼窥伺，届时石勒攻之，汝何以为守？”

　　樊雅听后对桓宣说：“汝有张仪之才，吾素来敬佩说客。今汝数语，令我归心。”

　　遂出城归降。祖逖攻占谯城后，终下豫州，通北伐之道。桓宣则率部返回。不久，石虎围困谯城，王含又遣桓宣来救。石虎闻听桓宣前来，撤军而退。桓宣于是留在谯城，协助祖逖征讨不归附的坞堡主。这时正值司马睿登基称帝改元太兴。朝中使者到陈县（豫州治所在陈县）处，宣诏封祖逖为豫州牧，都督五州诸军事。公孙成随使者到任，拜见祖逖，祖逖把豫州帐册给了公孙成。让他在三日内重新整理豫州户口粮田，并让其略访豫州，将手下斥候五人交由公孙成调遣。

　　公孙成命五人和亲侍卫亲和章亩一日内走遍州七郡，在七人归来后。公孙成整理七人所见所闻。后日公孙成将粮册和户口统计重新造册。

　　将帐册交给祖逖，豫州，下辖颍川郡、陈郡、鲁郡、汝南郡、谯郡、弋阳郡、阳安郡、襄城郡、汝阴郡。现共计七万户，夫妻健存之家三万户，孤儿寡母者共三万户。老妪独居者万户计，荒田千顷。四郡内史，二十余县官与民医勾结制卖五石散