十一月，谢玄派遣广陵相刘牢之率北府精兵五千，夜渡洛涧奇袭秦将梁成军垒，斩杀梁成，王显等十将，秦军惊溃。刘牢之断敌归津，纵兵追击，秦军败逃无路，争赴淮水，死伤近半。谢石、谢玄乘势指挥晋军水陆继进，扎营于寿阳城外，八公山下。

苻坚得知晋军临近，登城观望，见东晋兵马强悍，部队严整，又看到八公山上草木繁多，也以为都是晋兵，便对苻融说：“此亦劲敌，何谓弱也？”开始显出畏惧之色。

秦军张蚝迎战晋军谢石部，谢石兵败。谢玄、谢琰率本部兵马，严阵以待。张蚝见无机可乘，退过淝水，临水列阵。谢玄因秦军阵逼淝水，无法强渡，又恐秦军主力到来，难以相争，思虑良久定下决心，遣使致书苻融：“君悬军深入，而置阵逼水，此乃持久之计，非欲速战者也。若移阵少却，使晋兵得渡，以决胜负，不亦善乎。”秦军诸将都认为：宜阻淝水，莫令得上，我众彼寡，势必万全。苻坚却说：令军少退，待晋兵半渡。我以铁骑数十万向水逼杀，必胜无疑。苻融也同意此计，于是下令临水列阵的秦军向后退却。

秦军一退，阵势混乱，兵将不知所以然，朱序等东晋降将又在阵后大呼：“秦兵败矣！”秦军兵马愈发退而不止。谢玄亲率谢琰、桓伊等精兵八千，涉渡淝水，直冲秦阵。苻融见秦军阵容已乱，急驰入阵中，想指挥秦兵停止退却，反击晋军，不料乘马在乱军中摔倒，晋兵冲到，杀死苻融。秦军失去前线统帅，大败奔逃，“自相蹈藉技术死者不可胜计，淝水为之不流”。“其走者闻风声鹤唳，皆以为晋兵且至，昼夜不敢息。”谢玄挥兵追击，直至青岗（安徽寿县西北），秦军溃逃途中，“草行露宿，重以饥饿，死者什七八。”苻坚身中流矢，单骑奔向淮北。晋军获得苻坚所乘云母车和堆积如山的军资器械及骡马十余万。晋军收复寿阳，朱序等将也同归东晋，朝廷派遣殿中将军慰劳，给谢玄进号前将军、假节，谢玄固让不受。

淝水之战后，谢安向朝廷提出，宜乘苻坚丧败的时机，出兵北上伐秦，开始中原，以图恢复旧部基业。

太元九年（公元年）八月，东晋命徐、兖二州刺史谢玄为前锋都督，率豫州刺史桓石等部兵马沿涡河，颍河北进伐秦。谢玄兵至下邳，秦徐州刺史赵迁闻风丧胆，放弃彭城逃走。谢玄率军进驻彭城后，派彭城内史刘牢之领兵攻打驻守鄄城的秦兖州刺史张崇，张崇败走。晋军占领鄄城，河南城堡纷纷前来归附，兖州很快全部平定。谢玄又采用督护闻人?的建议，分水修堤，疏通河道，解决了北伐军粮的运输问题。

十月，谢玄命阴陵太守高素领兵攻秦青州（山东益邵），晋军进至琅，秦青州刺史朗归降。谢玄乘势挥兵进伐冀州（河北冀县），分遣诸将攻占要地。刘牢之攻占（山东茌平西南），济阳太守郭满攻占滑台（河南滑县东），奋武将军颜雄渡河立营。苻坚之子苻丕派部将桑据屯兵黎阳，谢玄命猛将刘袭领兵乘夜奔袭，大败桑据，攻克黎阳（河南浚县北）。苻丕此时正在邺城（河北磁县南）。被反秦复燕的慕容垂围攻，无力抗晋，遣使请降。谢玄许降，此时晋军声威大震，三魏皆降。北伐晋军已经平定了兖青、司、豫四州之地，东晋加封谢玄郡督徐、兖、青、司、冀、幽、并七州军事。

在谢玄统兵北伐接连取胜的同时，东晋朝廷内部的斗争又趋激烈，谢安受到会稽王司马道子的排挤，自求北征，出镇广陵，不久病逝。司马道子又以“征役既久，宜置戍而还”为名否定了谢玄巩固北伐成果的规划，削去谢玄的兵权，命他回镇淮阴。

谢玄功业不成，又遭排斥，心灰意冷，上书说：“追寻前事，可为寒心。臣之微身，复何足惜，区区血诚，忧国实深。”不久，谢玄在归途中身染重病，后于太元十三年（公元年）正月病逝，终年四十六岁，追赠为车骑将军。