擅长骑马射箭，思维敏捷有计谋。天宝十四年（755年），
安禄山与
史思明起兵反叛，史称
安史之乱。当时李怀仙在安禄山帐下担任副将，亦随安禄山叛乱。
至德元年（756年），李怀仙与潮复、杨朝宗、谢元同等人率领四万多兵众攻打雍丘，但遭
唐军拼死抵抗，李怀仙等人大败逃走。后来，李怀仙跟随安禄山攻陷河洛。安禄山死后，李怀仙追随安禄山之子
安庆绪。
乾元元年（758年），安庆绪兵败，李怀仙转而投奔史思明。
上元二年（761年），史思明攻陷河南，留其次子
史朝清守卫幽州，派阿史那玉、高如震辅佐。同年三月，史思明的长子
史朝义杀害父亲史思明，自登帝位，任命李怀仙为燕京留守、
范阳尹。史朝义准备诛杀史朝清，阿史那玉与高如震两将叛变，史朝义任命李怀仙为
幽州节度使，派他带兵进入幽州。高如震本打算拒绝不纳，但来不及想出对策，只得出来迎接。李怀仙表现极宽容以安定人心。三天后，李怀仙集会众将，斩杀高如震，幽州于是平定下来。上元二年（761年）十二月，当时
平卢节度使侯希逸与李怀仙的军队互相攻打多年，救援已经断绝，而且还遭到奚人的侵扰，侯希逸便率领全军二万多人袭击并打败李怀仙。
宝应元年（762年），
天下兵马元帅、
雍王李适统率回纥诸军大败史朝义，收复东都
洛阳（今河南洛阳），史朝义率众渡过
黄河向北逃走，李适于是派副元帅
仆固怀恩率兵追击史朝义。
广德元年（763年）正月，当时叛军势力已经瓦解，当叛军听闻仆固怀恩追来，都望风投降。史朝义率领数千残余兵众准备前往范阳，投奔李怀仙。当时中使
骆奉先派人从小路来详细与李怀仙剖析利害祸福，李怀仙于是投降朝廷，并派遣兵马使李抱忠率领三千士兵镇守范阳。史朝义来到范阳，李抱忠关闭城门，不让史朝义进城。这时唐军即将追到，史朝义走投无路，便在树林中上吊自杀，李怀仙割取他的头颅，由骆奉先献给朝廷。当时仆固怀恩想暗中结党以巩固其兵权，于是上表推荐李怀仙可以任用。
闰正月十九日，
唐代宗任命李怀仙为幽州
大都督府长史，检校侍中，幽州、
卢龙等军节度使，后升任检校
兵部尚书，封爵武威郡王。
广德二年（763年），仆固怀恩反叛朝廷之后，边域各处战争不止。当时朝廷正招抚西方之师，所以李怀仙与
成德节度使李宝臣（张忠志）、
魏博节度使田承嗣、相卫节度使
薛嵩等人得以招回亡散兵卒，各自拥有数万精兵，修缮
城邑，训练军队，自己设置文武官将，地方
贡赋据为私有，朝廷无法控制。
大历三年（768年）六月二十日，李怀仙的部下兵马使
朱希彩、经略副使
朱泚、朱泚之弟
朱滔打算杀害李怀仙，朱泚兄弟杀死门卫进屋，但朱希彩还没来。到天快亮时，朱泚害怕起来，打算逃跑，朱滔说：“计划如果不能成功，只有一死。逃能逃到哪里去？”不一会儿，朱希彩来到，于是他们共同杀害李怀仙及其全家。
刘昫等《
旧唐书》：①“善骑射，有智数。”；②“若怀仙之辈，习乱
河朔，志深狡蠹，忠义之谈，罔经耳目；以暴乱为事业，以专杀为雄豪，或父子弟兄，或将帅卒伍，迭相屠灭，以成风俗。”