三棱齿兽科是极度类似哺乳类且高度特化的犬齿兽类动物,但是它们的生理结构上仍保留许多
爬行动物的特征。三棱齿兽科是从基础
真犬齿兽类动物演化而来,像是
犬颌兽。三棱齿兽科主要是
肉食性或
食虫性,虽然有些物种已经发展出
杂食性的特征。三棱齿兽科的化石显示出它们与哺乳类有接近亲缘关系。三棱齿兽类是存活最久的非哺乳类
兽孔目之一,从晚
三叠纪存活到中
侏罗纪。不清楚为何这群动物在
侏罗纪灭绝。一个可能的解释是它们与其近亲哺乳类的竞争失败。大多数
侏罗纪的哺乳类是肉食性动物,而且可能会捕食三棱齿兽类。一群称为
三尖齿兽目(Triconodonta)的肉食性哺乳类,首次出现在晚
侏罗纪,它们可能猎食任何小型动物,包括深处危险的三棱齿兽类。三棱齿兽科的化石发现于南美与
南非,显示出它们存活在
盘古大陆南部。
在1912年,
南非古生物学家罗伯特·布鲁姆(Robert Broom)建立三棱齿兽科。在某些文献中,曾被误拼为“Trithelodontidae”。