大业十三年（617年），太原留守
李渊起兵反隋。同年，李渊率军攻入长安，李玄通率领部属归顺李渊，后授任定州总管。
武德四年（621年）五月初二日（《
新唐书》作五月初五日），唐高祖次子秦王
李世民率军打败并擒获割据军阀
窦建德，河北地区全部平定。同年七月十一日，唐高祖下令将窦建德斩首。
武德四年（621年）七月十九日，窦建德余党
刘黑闼起兵反唐。十一月十九日（622年1月6日），刘黑闼率军攻打并攻陷定州，擒获李玄通。刘黑闼重视李玄通的才能，想任用他为将领，李玄通叹息说：“我蒙受朝廷大恩，在中国东部总领一方军府，孤城无援，于是身陷贼廷。如今当保持人臣节操，以忠诚报答国家，岂能挫抑志气，竟接受叛贼的官职。”便拒不接受，刘黑闼于是将李玄通囚禁起来。
李玄通过去的属吏中有人拿酒食馈赠给他，李玄通便说：“各位哀悯我窘迫受辱，因而送酒食来宽慰我，我应该与各位一醉方休。”于是一起宴乐饮酒，李玄通对守卫的人说：“我能舞剑以助兴，你可把刀剑借我一用。”守卫的人就把刀给了他。曲终之时，李玄通大声长叹：“大丈夫受国家厚恩，镇守抚恤一方，不能保全戍守之地，又有何面目活在人世间！”随即剖腹而死。唐高祖听说后，为他痛心流泪。