十一月谢玄派遣广陵相刘牢之率北府精兵五千夜渡洛涧奇袭秦将梁成

十一月，谢玄派遣广陵相刘牢之率北府精兵五千，夜渡洛涧奇袭秦将梁成军垒，斩杀梁成，王显等十将，秦军惊溃。刘牢之断敌归津，纵兵追击，秦军败逃无路，争赴淮水，死伤近半。谢石、谢玄乘势指挥晋军水陆继进，扎营于寿阳城外，八公山下。

苻坚得知晋军临近，登城观望，见东晋兵马强悍，部队严整，又看到八公山上草木繁多，也以为都是晋兵，便对苻融说：“此亦劲敌，何谓弱也？”开始显出畏惧之色。

秦军张蚝迎战晋军谢石部，谢石兵败。谢玄、谢琰率本部兵马，严阵以待。张蚝见无机可乘，退过淝水，临水列阵。谢玄因秦军阵逼淝水，无法强渡，又恐秦军主力到来，难以相争，思虑良久定下决心，遣使致书苻融：“君悬军深入，而置阵逼水，此乃持久之计，非欲速战者也。若移阵少却，使晋兵得渡，以决胜负，不亦善乎。”秦军诸将都认为：宜阻淝水，莫令得上，我众彼寡，势必万全。苻坚却说：令军少退，待晋兵半渡。我以铁骑数十万向水逼杀，必胜无疑。苻融也同意此计，于是下令临水列阵的秦军向后退却。

秦军一退，阵势混乱，兵将不知所以然，朱序等东晋降将又在阵后大呼：“秦兵败矣！”秦军兵马愈发退而不止。谢玄亲率谢琰、桓伊等精兵八千，涉渡淝水，直冲秦阵。苻融见秦军阵容已乱，急驰入阵中，想指挥秦兵停止退却，反击晋军，不料乘马在乱军中摔倒，晋兵冲到，杀死苻融。秦军失去前线统帅，大败奔逃，“自相蹈藉技术死者不可胜计，淝水为之不流”。“其走者闻风声鹤唳，皆以为晋兵且至，昼夜不敢息。”谢玄挥兵追击，直至青岗（安徽寿县西北），秦军溃逃途中，“草行露宿，重以饥饿，死者什七八。”苻坚身中流矢，单骑奔向淮北。晋军获得苻坚所乘云母车和堆积如山的军资器械及骡马十余万。晋军收复寿阳，朱序等将也同归东晋，朝廷派遣殿中将军慰劳，给谢玄进号前将军、假节，谢玄固让不受。

淝水之战后，谢安向朝廷提出，宜乘苻坚丧败的时机，出兵北上伐秦，开始中原，以图恢复旧部基业。

太元九年（公元年）八月，东晋命徐、兖二州刺史谢玄为前锋都督，率豫州刺史桓石等部兵马沿涡河，颍河北进伐秦。谢玄兵至下邳，秦徐州刺史赵迁闻风丧胆，放弃彭城逃走。谢玄率军进驻彭城后，派彭城内史刘牢之领兵攻打驻守鄄城的秦兖州刺史张崇，张崇败走。晋军占领鄄城，河南城堡纷纷前来归附，兖州很快全部平定。谢玄又采用督护闻人?的建议，分水修堤，疏通河道，解决了北伐军粮的运输问题。

十月，谢玄命阴陵太守高素领兵攻秦青州（山东益邵），晋军进至琅，秦青州刺史朗归降。谢玄乘势挥兵进伐冀州（河北冀县），分遣诸将攻占要地。刘牢之攻占（山东茌平西南），济阳太守郭满攻占滑台（河南滑县东），奋武将军颜雄渡河立营。苻坚之子苻丕派部将桑据屯兵黎阳，谢玄命猛将刘袭领兵乘夜奔袭，大败桑据，攻克黎阳（河南浚县北）。苻丕此时正在邺城（河北磁县南）。被反秦复燕的慕容垂围攻，无力抗晋，遣使请降。谢玄许降，此时晋军声威大震，三魏皆降。北伐晋军已经平定了兖青、司、豫四州之地，东晋加封谢玄郡督徐、兖、青、司、冀、幽、并七州军事。

在谢玄统兵北伐接连取胜的同时，东晋朝廷内部的斗争又趋激烈，谢安受到会稽王司马道子的排挤，自求北征，出镇广陵，不久病逝。司马道子又以“征役既久，宜置戍而还”为名否定了谢玄巩固北伐成果的规划，削去谢玄的兵权，命他回镇淮阴。

谢玄功业不成，又遭排斥，心灰意冷，上书说：“追寻前事，可为寒心。臣之微身，复何足惜，区区血诚，忧国实深。”不久，谢玄在归途中身染重病，后于太元十三年（公元年）正月病逝，终年四十六岁，追赠为车骑将军。