皇甫惟明早年曾与忠王
李亨为友（即后来的唐肃宗）。开元十八年（730年）九月，吐蕃因屡败于唐军，便遣使请和。皇甫惟明知道后，便面陈和亲之利。唐玄宗却认为：“
吐蕃赞普往年尝与朕书，悖慢无礼，朕意欲讨之，何得和也！”皇甫惟明解释道：“开元之初，赞普幼稚，岂能如此。必是在边军将务邀一时之功，伪作此书，激怒陛下。两国既斗，兴师动众，因利乘便，公行隐盗，伪作功状，以希勋爵，所损钜万，何益国家！今河西、陇右，百姓疲竭，事皆由此。若陛下遣使往视
金城公主，因与赞普面约通和，令其稽颡称臣，永息边境，此永代安人之道也。”玄宗觉得言之有理，便令皇甫惟明和内侍张元方出使吐蕃。二人至
吐蕃，对赞普和金城公主说明来意。赞普非常高兴，欣然请和，唐蕃两国遂修旧好。
不久，皇甫惟明因功任左卫郎将；开元二十年三月（735年），皇甫惟明，摄侍御史，充长春宫使；后又任司农少卿；开元二十五年（740年）七月，任检校司农卿；开元末年，皇甫惟明出任陇右（今青海西宁乐都及甘肃临潭等）节度使。
天宝元年十一月（742年），吐蕃大军进犯陇右地区，皇甫惟明立即率军迎击，在青海大获全胜。十二月二十七日，
吐蕃大将莽布支再率3万余人马，与皇甫惟明部交战。唐军先锋骑将
王难得率先出阵，与吐蕃赞普之子琅支都交锋。琅支都被王难得枪挑于马下。吐蕃军阵脚大乱。皇甫惟明指挥唐军乘势掩杀，斩获5000余人（一说3万人）。
不久，皇甫惟明便发现吐蕃军每次进犯陇右地区，都以洪济城（今青海
贵德西）为前哨阵地，遂决心除去这个隐患。天宝二年（743年）四月，皇甫惟明亲自率领兵马自西平郡（治西都，今青海
乐都）出发，长途奔袭，推进千余里，向驻守洪济城的吐蕃军发起进攻。由于唐军远道而来，出其不意，很顺利地便占领该城。
天宝初年，唐玄宗喜好边功，边帅常以抗击吐蕃有功而获官爵。皇甫惟明在与吐蕃军作战中连战连捷，立功心切，决定率
廓州（治化隆，今属青海）军向吐蕃所占重镇
石堡城发起攻击（又称铁刃城，在今青海湟源西南）。
石堡城是吐蕃的战略要地，地势险要，易守难攻。开元十七年（729年）三月，朔方节度使、信安王
李祎用远程奔袭的战术，方攻占石堡城。但是在开元二十九年（741年）十二月，由于河西、陇右节度使
盖嘉运不思防务，致使吐蕃军重新攻占石堡城。
皇甫惟明进至石堡城后，立即展开攻城。吐蕃守城将士一面凭险据守，一面传书求援。吐蕃即派
大论莽布支率军兼程往援，并取得吐谷浑小王的配合，与守城将士里应外合，攻打唐军。皇甫惟明急功近利，只顾攻城，忽略打援，结果使唐军遭到重创，副将褚诩战死，皇甫惟明只好退兵。
随后，皇甫惟明进京献俘。十二月，唐玄宗对他进行了封赏。天宝五载（746年）正月十三日，皇甫惟明又兼
河西节度使、鸿胪卿。
皇甫惟明入朝后，发现宰相
李林甫专权，心中不满，便劝玄宗罢免李林甫，并认为刑部尚书
韦坚（太子李亨的内兄）有宰相之才，可以起用。李林甫知道后，便怀恨在心，决定报复。
正月十五日夜，皇甫惟明与韦坚一同游玩，共度上元佳节。李林甫遂以此为借口，说韦坚与边将私会，欲谋废立。皇甫惟明与韦坚因此被逮捕入狱，
李林甫又让
杨慎矜、
杨国忠、
王鉷、
吉温等人一起出来作证。玄宗也怀疑韦坚与皇甫惟明结谋，但没有确凿的证据。二十一日，玄宗下制书责备说
韦坚因谋求官职地位，存有野心，贬为缙云（今浙江缙云）太守；皇甫惟明因为挑拨离间君臣之间的关系，贬为播川（今贵州
遵义）太守。