薛胄，字绍玄，是河东汾阴（今山西省
万荣县）人。薛胄从小就很聪明，每次阅读了罕见的书籍便能明了他的意蕴。经常感叹训释古书的人不能领会圣人深刻的用意，便用自己的理解分析它，儒家学者们没有不称赞的。薛胄性情激昂，立志要建立功名。
北周明帝
宇文毓时，继承了父亲文城郡公的爵位。逐步升迁到上仪同三司，不久被任命为司金大夫，后来封为开府仪同大将军。
隋高祖
杨坚受禅即位后，提拔他担任鲁州刺史，还没有上任，改任为代理庐州总管。不久又升任为兖州刺史。到任以后，当地监狱里关押着好几百囚犯，薛胄辨明是非，立即判案，十天便处理完毕，监狱为之一空。有个陈州人叫向道力，冒充高平郡太守就要去上任，薛胄在路上遇到他，察觉他有些反常，要把他留下盘问。司马王君馥坚持劝说，薛胄才放向道力去上任了。不久就后悔了，立即派主簿追赶捉拿向道力。有个当地人叫徐俱罗，曾经担任海陵郡守，在此之前也被向道力作伪替代过。到了任职期满，官府和百姓都没有发觉出来。徐俱罗于是告诉王君馥说：“向道力是经过皇上恩赐代替我做过郡守的，你怎么能怀疑他呢？”王君馥把徐俱罗的话禀告了薛胄，反复劝他不要冒险行事。薛胄斥责王君馥说：“我已经察觉此人有诈伪之行。司马姑息奸邪，应当和奸贼一起判罪！”王君馥才没有坚持下去。于是派人把向道力抓了起来，向道力害怕而供出了他的诈伪行为。薛胄揭发奸邪隐秘之事都像这样精明，当时人称他为神灵。
先前，兖州城东的沂水、泗水汇合在一起向南流去，在一片沼泽地中泛滥成灾，薛胄于是用石头砌成堤堰拦住水流，，让水从西边流走，沼泽地都成了良田。水中又能通航运输，使淮海地区充分收益，老百姓都依赖他，称它为“薛公丰兖渠”。薛胄以为天下太平，登泰山封禅是帝王盛大的祭礼，于是派博士登上泰山观摩古迹，画了《封禅图》和撰写了封禅礼仪献给皇帝。高祖谦让没有同意。后来改任郢州刺史，前后任职都很有政绩。高祖召他回朝任命为卫尉卿，不久改任大理卿，他执法宽松平允都很称职。后来升任刑部尚书。
当时左仆射
高颎因为是废太子
杨勇的岳父，渐渐被隋炀帝疑忌疏远。
王世积被杀后，高颎收到牵连，隋炀帝趁机罗织高颎的罪名。薛胄替高颎辨明洗清冤屈，公正发表了意见，违背了隋炀帝的旨意，被戴枷囚禁起来，很久才赦免了他。后出朝暂管相州事务，人们认为他很有才干。赶上汉王杨谅在并州作乱，派遣大将綦母良向东攻占土地，逼近
慈州。刺史
上官政向薛胄求援，薛胄害怕杨谅军队的锋锐不敢出兵抵抗，綦母良又带兵攻打薛胄，薛胄打算用计让他退兵，派遣心腹鲁世范游说綦母良说：“天下的事情还未见分晓，薛胄作为臣子，是去是留必须适得其所，为什么这么急切地攻打我？”綦母良于是攻占黎阳。后来綦母良被
史祥攻击时，扔下军队投奔了薛胄。朝廷认为薛胄怀有二心，用镣铐把他锁上押送到大理寺。相州的官员百姓都感念他的恩德，到朝廷为薛胄申辩的有一百多人，薛胄最后因为牵连被削掉官职，发配到岭南戍边，半路上病死了。