公元746年，丙戌，天宝五年。刑部尚书韦坚与河西、
陇右节度使皇甫惟明被李林甫诬为谋立太子为帝，遭贬逐。左相李适之与紧亲密，惧祸，自请罢政事。韦坚亲党流贬者数十人。坚，太子妃兄。李林甫又兴大狱，以“妄称图谶，交构东宫，指斥乘舆”之罪，杖杀杜有邻等。审案者为酷吏吉温。以王忠嗣为河西、陇右节度使，兼知朔方、河东事。
李适之性情粗率，李林甫曾谓之曰：华山（今陕西华阴）有金矿，采之可以富国，但皇帝不知此事。李适之因奏事言于玄宗，玄宗即问李林甫，林甫回答说：我早巳知道，但华山是陛下的本命所在，不宜于开采，所以不敢建言。玄宗听后，爱李林甫之细心周密，鄙薄李适之虑事不熟，谓适之曰：自今以后奏事，应先与林甫议之，不要轻率地建言。李适之由此束手而惧林甫。适之既失恩，韦坚失权，二人往来更加亲密，由是李林甫益恶之。起初太子之立，不合李林甫心意，林甫害怕以后为己祸，所以常常有动摇太子之心。而韦坚又是太子之妃兄。皇甫惟明曾为太子友，时败吐蕃入朝献捷，见林甫专权，心中不平。见玄宗时，乘机进言劝玄宗去林甫。林甫知后，使杨慎矜伺查其行为。会正月望夜，太子出游，与韦坚相见，韦坚又与惟明会于景龙观道士之室。杨慎矜遂揭发其事，以为韦坚皇戚，不应与边将过从亲密。李林甫因奏坚与惟明结谋，想共立太子。收二人下狱，并使慎矜与御史中丞王鉷、京兆府法曹参军吉温共审之。
玄宗也怀疑坚与惟明有谋，天宝五年（七四六）正月二十一日，下制责韦坚干进不已，贬为缙云（今浙江缙云）太守；惟明以离间君臣，贬为播州太守。仍别下制以戒百官。韦坚等既被贬，左相李适之益惧，自求散地。四月八日，以适之为太子少保，罢政事。其时李适之子卫尉少卿李霅曾设宴召客，客人因畏李林甫，竟无一人敢去。将作少匠韦兰、兵部员外郎韦芝为其兄韦坚诉冤，并引太子为言证坚无罪，玄宗益怒，太子惧怕，上表请与韦妃离婚。七月二十六日，再贬韦坚为江夏别驾，韦兰、韦芝皆贬岭南。李林甫乘机上言韦坚与李适之等为朋党，后数日，流韦坚于临封（今广西梧州东南），贬李适之为宜春太守，太常少卿韦斌贬为巴陵（今湖南岳阳）太守。凡韦坚亲党坐流贬者数十人。天宝六年（七四七）正月，李林甫又奏分遣御史即贬所赐皇甫惟明、韦坚兄弟等死。李适之忧惧，服药自杀。李适之子霅迎父丧至东京（今河南洛阳），李林甫令人诬告霅，遂杖死于河南府。给事中房琯因与李适之相好，贬宜春太守。李林甫犹恨韦坚不已，又遣使循黄河及江淮州县求其罪。遂收系纲典船夫无数，所在地牢狱为满，以至延及邻伍，皆裸露死于公府。
天宝五年（七四六）正月，以王忠嗣为河西、
陇右节度使，兼知朔方（今宁夏）、河东节度事。忠嗣在朔方、河东时，每互市，皆高估马价，诸胡闻知，皆卖马于唐，由是胡马益少，唐军益强。及为河西、陇西节度使，请分朔方、河东马九千匹以充实二镇，其兵亦壮。忠嗣领四镇，控制万里，天下劲兵重镇，皆在掌握。与吐蕃战于青海（今青海省青海湖）、碛石（今青海贵德），皆获大胜。又讨吐谷浑于墨离军（今甘肃玉门西北），俘其全部而还。
天宝五年（七四六）四月，以门下侍郎、崇玄馆大学士陈希烈同平章事。希烈，宋州（今河南商丘）人，以讲《老子》、《庄子》得幸，专用神仙符瑞之事取媚于玄宗。李林甫因希烈为玄宗所宠爱，且柔佞易制，所以引以为相。凡政事皆决于林甫，希烈但唯诺不置一词。按故事，宰相午后六刻才出，李林甫奏现今天下太平无事，宰相巳时即出还家，军国大事皆决于私第，希烈书名而已。
杨贵妃为玄宗所宠爱，乘马时则宦官高力士执辔授鞭，织绣之工专供贵妃院者至七百人，中外皆趋炎附势，争献器物服饰珍宝，岭南经略使张九章与广陵（今江苏扬州）长史王翼，因所献物精美，九章加三品，翼入为户部侍郎，天下因是从风而靡。民间有歌曰：“生男勿喜女勿悲，君今看女作门楣。”贵妃欲食生荔枝，每岁命岭南驰驿送之，及至长安，色味不变。天宝五年（七四六）七月，贵妃以妒悍不逊，触怒玄宗，遂命送归兄杨铦之第。但是日，玄宗心情闷闷不乐，至日中，犹未进食，左右之人动不称旨，皆遭棰挞。高力士欲探知玄宗意，请悉载院中储侍送贵妃，共一百余车，玄宗又分御膳以赐之。至晚上，力士奏玄宗请迎贵妃归院，遂开禁门而入。从此恩宠愈隆。