尧君素，是魏郡汤阴人。
隋炀帝做晋王的时候，尧君素是在他身边侍候的人。隋炀帝继位，逐步升迁到鹰击郎将。
大业末年，盗贼群起，人们多逃亡，而唯独尧君素所部没有逃亡离散的。后来跟随骁卫大将军屈突通在河东抗拒李渊的军队。不久，
屈突通带领军队向南逃跑，因为尧君素有胆识和谋略，就委任尧君素统领河东通守。
李渊派遣大将吕绍宗、韦义节等攻城，但未能攻克。等到屈突通的军队被击败，屈突通逃到城下大声喊叫尧君素。
尧君素见到屈突通，哽咽流泪，悲伤得不能自控，身边的人也都跟着哽咽起来。
屈突通也流下泪沾湿了衣襟，于是劝说尧君素早早投降来求取富贵。
尧君素用名声和节义责问他说：“你即使在远方能对主上不感到惭愧，但你骑的马，就是代王赐给你的，你有什么颜面骑它呢？”屈突通说：“唉！尧君素！我是力量竭尽才逃来的。”尧君素说：“如今我的力量还没有竭尽，何必多说！”屈突通羞愧地退下了。
当时，城池被围攻得非常紧急，使者断绝。尧君素于是造了一只木鹅，把奏章放在木鹅的脖颈中，在奏章中他详细地分析了情势，他把木鹅漂浮在黄河上，让它顺流而下。河阳守卫的人得到木鹅，送达到东都洛阳。越王
杨侗见到奏章不禁叹息，就秉承皇帝旨意授予尧君素金紫光禄大夫之职，秘密派遣使者前往慰劳尧君素。监门直阁庞玉、武卫将军
皇甫无逸先后从东都归附李渊，两人一起到城下，向他陈说利害。朝廷又赐给他金券，答应他免除死罪。尧君素最终还是没有投降的意思。他的妻子又到城下，对他说：“隋朝已经灭亡，你何苦要自取祸害？”
尧君素说：“天下的事情不是女人所能知道的。”拉开弓射向他的妻子，他的妻子中箭而倒。尧君素也知道事情必定不能成功，每次说到隋朝，未尝不叹息哽咽。常常对他的将士说：“我是陛下府邸的老臣，说到大义，不能不死。粮食还能支撑几年，粮食吃光了，也足以知道天下之事的结局了。隋朝如果一定倾覆败亡，那是天命有此结局，我应该砍下头来交给你们。”
大业十四年（618年），河东经常听到江都宫变的消息，粮食又吃光了，甚至发展到交换孩子相吃，众人的心离散惊惧。白虹降临到府门之上，兵器的锋端，夜里都闪着光芒。一个多月后，尧君素被身边人杀害。
唐太宗李世民：“隋故鹰击郎将尧君素，往在大业，受任河东，固守忠义，克终臣节。虽
桀犬吠尧，有乖倒戈之志；而疾风劲草，实表岁寒之心；可赠蒲州刺史，仍访其子孙以闻。”
《隋书》：“古人以天下至大，方身则小，生为重矣，比义则轻。然则死有重于泰山，生以理全者也，生有轻于鸿毛，死与义合者也。然死不可追，生无再得，故处不失节，所以为难矣。杨谅、杨玄感、
李密反形已成，凶威方炽，皇甫诞、游元、冯慈明临危不顾，视死如归，可谓勇于蹈义矣。独孤盛、
元文都、卢楚、尧君素岂不知天之所废，人不能兴，甘就菹醢之诛，以徇忠贞之节。虽功未存于社稷，力无救于颠危，然视彼苟免之徒，贯三光而洞九泉矣。须陀、善会有温序之风，子翊、松赟蹈解扬之烈。国家昏乱有忠臣，诚哉斯言也。”