然而，令所有人感到意外的是，北府兵统帅谢玄在叔叔谢安的支持下，连施巧计，在与前秦大军对峙近一个月之后，趁苻坚决策失误，妄图用后撤的方式引诱晋军渡河之际，策动降将朱序等人搅乱了前秦军阵型，并奋勇出击，以区区八万北府兵，一举冲散敌军防线，击败了不可一世的苻坚大军。
此役，前秦军被歼灭和逃散的兵马共有七十多万，唯有鲜卑族慕容垂的三万部队建制完整无损，侥幸全身而退。
胜利的消息传回建康，整个东晋举国欢腾。广阔的江南地区不仅迎来了自“五胡乱华”之后难得的安宁局面，谢氏家族也因此登上了荣耀的巅峰。
大胜之后，谢安、谢玄叔侄名声大噪，在朝野中的声望达到了顶点，谢安被加封为督天下诸军事、太保之职，谢玄则被任命为前将军。而谢家另外一位重要成员，同样参与了淝水大战的谢安之弟谢石，也得以晋升中军将军、尚书令，封南康郡公。
自此，居住在建康城乌衣巷的谢家，俨然成为了江左豪门望族的首领，一时间风光无限。
旷达睿智的谢安，当然明白“功高震主”的道理，更清楚司马皇族那种“鸟尽弓藏”“卸磨杀驴”的尿性，所以没过多久，他便再次辞掉了全部官职，前往广陵隐居避世。
临走之前，谢安还特意嘱咐弟弟谢石和侄子谢玄，让他们不要贪恋权势地位，尽量保持低调，远离朝堂纷争。
不过可惜的是，谢石对兄长的忠告却不以为然，一味想要保持家族荣耀，成为匡扶晋朝的中流砥柱，所以他不仅不接受谢安急流勇退的建议，反而还更进一步，与同样是江左豪门的王家联起手来，对抗东晋皇帝的亲弟弟、权倾朝野的会稽王司马道子。
谢玄倒是蛮听叔叔谢安的话。他不愿从政，只想带兵，故而向朝廷辞去了前将军的职务，仍以北府兵大统领的身份，专心训练北府精锐，以待择机北伐，收复中原失地。
然而不幸的是，在淝水之战结束后没多久的时间，尚在壮年的谢玄突然身染重病，一下子卧床不起，莫说率军北伐，就连寻常的军务都无法处理。
这样一来，北府兵的军权也就逐渐由他手下大将刘牢之、何谦、朱序等人分别掌握。
通过抗击前秦的大战不难看出，北府精锐，天下少有，谁能掌握住这支力量，谁在朝中便有了说话的底气。
处于这个原因，无论是在建康把持朝政的司马道子，还是远居荆州的大将军恒冲，抑或是准备跟会稽王一争高下的中书令王恭，都希望能趁谢玄无力掌军的机会，拉拢他麾下那几位军头将领，加入道自己的阵营之中。
王恭因为是皇后王法慧的兄长，又是乌衣巷王家的家主，所以他与谢石形成了天然同盟。谢石曾拍着胸脯向王恭保证，北府兵永远都是姓谢的。即便兄长谢安辞官隐居世外，侄子谢玄长期卧病不起，但作为谢家的现任家主，刘牢之等人也不可能不买他这个面子。