唐肃宗
李亨为
忠王时，韦氏为忠王孺人。但《
唐大诏令集》和《
资治通鉴》上皆记载韦氏为忠王妃。故推测韦氏可能先为孺人，后升为王妃。开元十八年（730年），忠王的妾室吴宫人（
章敬皇后）去世，韦妃抚养了她的女儿
和政公主。
宰相
李林甫曾经举荐寿王
李瑁为太子，玄宗却另册立忠王李亨。李林甫惧怕太子以后对己不利，图谋扳倒太子。而韦妃的兄长
韦坚当时是水陆
转运使，经营租税，甚得玄宗欢心。韦坚的妻子姜氏又是楚国公
姜皎之女，
右相李林甫的表妹。起初，李林甫因为韦坚是姜家女婿而厚待他，但韦坚却亲近
左相李适之。李林甫因此记恨韦坚，害怕韦坚会担任宰相，便决定除掉他。李林甫表面上拔擢韦坚为
刑部尚书，暗地里指示
杨慎矜秘密寻找韦坚的错误。
天宝五载（746年），正月望夜。太子出游，与韦坚相见。随后，韦坚与河西节度使
皇甫惟明在景龙观会面。杨慎矜将此事上奏玄宗，玄宗贬韦坚为缙云太守，皇甫惟明为
播州太守。韦坚被贬后，其弟将作少匠韦兰和兵部员外郎韦冰向玄宗讼冤，且引太子为言。唐玄宗大怒，将韦坚兄弟及其子韦谅全部流放岭南。不久，唐玄宗派遣监察御史
罗希奭将他们一一杀死。太子李亨非常恐惧，以“感情不睦”为由请求与韦妃离婚。唐玄宗同意了，于是韦妃削发为尼，居住在禁中的佛舍里。