石虎刚一撤退，祖逖立马出兵浚义，几乎和桃豹同时到达，结果桃豹屯兵西台，从南门出入；祖逖则派韩潜据东台，由东门出入，祖逖又派冯铁部进据二台，自己统兵镇守雍丘。
两军形成胶着状态，四十多天。
祖逖决定还是智取为上。
他琢磨双方粮草供应都很紧张，于是想出一条无中生有的妙计，伪装出一副粮食充足的样子，吸引桃豹的注意。
祖逖派兵士运送鼓鼓囊囊的粮食袋子，里面其实盛满的都是砂土，无非假装是食用的大米，运至晋兵据守的东台。这不是主要的，他又派数人挑着真正的大米，佯作累坏了，脱离了大部队，躺在道旁喘气歇息。西台的桃豹的兵士望见，马上派精兵来偷袭。担夫早都计划好了，看见他们远远的来了，依据计谋，假装惊惧状扔下担子，大呼小叫的就逃。
桃豹军士打开袋子，见里面全是上好的大米，禁不住内心不是滋味，赶紧将情况报给了桃豹，说祖逖有上千人运粮，推断晋军粮食充足。
行军打仗，拼的就是粮草，见敌方粮多豹充足，还是白花花的大米，羯族士兵难免心中泄气。
桃豹赶紧把这种情况火速报告石勒，石勒一听，不就是粮草吗？怎么可能拼不过祖逖？于是下令，派遣大将刘夜堂用千头壮驴运送粮草，支援桃豹。
祖逖等的就是这个，在粮草必经之路汴水设下埋伏，石勒驴队刚到，韩潜、冯铁两位将领带兵杀出，一顿激战，得了粮草，那上千头壮驴也被赶了回去，可谓收获颇丰。
桃豹一看，无粮可用，没办法，只好退兵而走，退守东燕城。
桃豹一退，祖逖获得了浚义之战的全面胜利。局面打开，凭据封丘、雍丘为根据地，多次出兵攻打石勒河南守军，并屡次派兵截击石勒的军队，石勒以前占据的很多城镇纷纷叛变归晋。
这样石勒在河南的地盘迅速萎缩，都集中在沿河一带很小的范围。
石勒自然是不甘心失败得，后又派遣一万多精锐骑兵反扑，但是他的骑兵遇到祖逖就像遇到了绊马索，怎么打都是输，最后惨败而回。又经过一年多的反复争夺，祖逖终于取得了豫州的控制权，取得北伐战争以来最重大的胜利。晋元帝万万没想到，祖逖这么厉害，立刻擢升他为镇西将军。
祖逖上书，请求朝廷尽快出兵北伐，渡过黄河，联合鲜卑、邵续等部，共同出兵，那么石勒可灭，接着便是刘曜，也不是不可战胜的，并指出朝廷并不是缺乏兵力，而是兵力分散，不能众志成城，统一协调作战，如果能团结起来，北伐是绝对可以成功的。
晋元帝看完祖逖的奏表，热血沸腾，马上就想出兵北伐，但是他却万没想到，他所倚仗的士家大族，看到祖逖如此战功赫赫，都气坏了。祖逖没有任何士家大族背景，和四大家族，毫无关系，他只是忠心于晋元帝司马睿，忠心于朝廷，这就侵犯了这些人的利益， 他们无心北伐，更希望司马睿安心做一个听话的盟主，不要搞事情，祖逖成功了，司马睿不就成功了吗？那他们还怎么操纵皇权，牟取私利！这是万万行不通的，所以说晋朝真的不行了！
石勒这边也如热锅上的蚂蚁，他并不知道晋朝内部的微妙变化。难免日夜忧心，司马睿大兵压境。
张宾一看，他忧虑不堪，笑道：“主公可是忧虑祖逖？”
石勒道：“不全是，现在北伐通道已开，如果江东大军随后赶到，杀过黄河，可如何是好！”
张宾笑道：“主公，您莫急，祖逖比您还着急呢，而且他也肯定在等元帝朝廷发兵，但是他是永远等不到的，晋朝那些士族是不可能支持晋元帝北伐的，晋元帝如果想干成这件事，难于登天，有可能皇位都不保呢……”
石勒将信将疑，后来一琢磨也笑了，果然是这个道理，晋朝内部早都烂透了……
张宾又道：“主公为今之计，不要再去攻打祖逖了，越打，他声势越大，民心越足，派出使者求和通商吧……您的目标仍然是刘曜，不用管南边了……”
此后由于有祖逖在，号称攻无不取、战无不胜的羯胡石勒，再也没敢侵入河南之地，为表示请和之心，石勒派人在成皋县修葺祖逖母亲的坟墓，并告知祖逖这件事。
石勒还写亲笔信给祖逖，要求“通使交市”。祖逖久等朝廷发兵，但是却迟迟没有回信，反倒是石勒的亲爱笔信先到了，让人哭笑不得。
虽然他没有给石勒回信，但也庠装不知，听任军民与河北的羯胡互市，各取所需，于是收利十倍，羯族人还是很喜欢豫州的小心思商品的，一时之间，公私丰赡，士马日滋。
祖逖也明白了，朝廷是指不上了，只能自己想办法，阻水筑垒，且耕且守，通商获利，为灭贼做长远打算。
祖逖深受广大人民的爱戴，正在练兵积谷，为攻取河北做准备，威力远播，迫使石勒感到了前所未有的压力，但是石勒是个能屈能伸的大丈夫，从多方面表示让步。
石勒对祖逖直接让步的行为除了修葺祖逖母亲的陵墓，派专人维护保守之外，又减轻了境内汉人的税赋，不停强调胡汉和睦相处，严禁胡人陵侮衣冠华族。由于石勒做出的让步，在一定程度上缓解了河北汉人水深火热的悲惨境况。