羊琇出身于当时的名门望族“泰山羊氏”。少年时，便被
泰山郡举为
上计吏。后来，镇西将军
钟会召时任
郎中的羊琇为参军事，其母辛宪英听闻后忧虑地说：“之前我见钟会出兵，虽然忧虑，但也只是为国而忧罢了。祸难将会牵涉到我的家族，而且也是国家的大事，我实在不得不阻止了。”羊琇便向
司马昭极力请辞，但司马昭没有同意。辛宪英无奈之下只好对羊琇说：“此事必须实行了，你要留心！古时的
君子，在家则奉孝于双亲，出外则为守节于国家，担任职务时要慎思你的责任，面对义理时则要慎思你的立场，不要让父母为你感到忧虑。军旅之间，最能令你顺利的，只有仁恕的态度而已！你必须要谨慎留意啊！”公元263年（景元四年），钟会、
邓艾等率军伐蜀，羊琇随军出征。等到灭蜀后钟会发动叛乱，羊琇直言苦谏，得以保全自身。不久后，监军
卫瓘等平息钟会叛乱，羊琇得以返回洛阳，因之前曾直言劝谏钟会而被封为
关内侯。
羊琇研究学问而有智谋，年轻时与司马炎同门，二人关系亲密，在接筵同坐的时候，羊琇曾经对司马炎说：“如果你富贵受到重用，我任
中领军、
中护军各十年。”司马炎和他开玩笑，同意了他的话。当初，司马昭并未立司马炎为世子，而羊琇帮司马炎密谋画策，助其取得储位。
司马炎任抚军将军后，任命羊琇为抚军参军。即王位后提拔羊琇为左卫将军，封甘露亭侯。西晋建立后，羊琇经屡次升迁任中护军，加散骑常侍，典禁兵，参预机密，在职十三年，受到武帝宠待。
公元282年（太康三年），齐王司马攸遭构陷、被晋武帝派遣出镇青州。羊琇恳切劝谏，违反武帝旨意，又因得知构陷齐王出镇的人是
杨珧等，便与
北军中候成粲谋杀杨珧，因而被诬陷降职为太仆。羊琇因为失宠而感到愤怨，于是发病，以病重为由请求逊位。被授职特进，加职散骑常侍，回府后便去世。武帝亲自下诏哀悼，追赠他为辅国大将军、开府仪同三司，并赐东园秘器，朝服一件，钱三十万，布百匹。谥号为威。
房玄龄等《
晋书》：①羊琇托肺腑之亲，处多闻之益，遭逢潜跃之际，预参经始之谋，故得缱绻恩私，便蕃任遇。凭宠灵而逞欲，恃势位而骄陵，屡犯宪章，频干国纪，幸逢宽政，得免刑书。②托属丹掖，承辉紫宸。地既权宠，任惟执钧。约乃寡失，骄则陵人。覆车遗戒，谅足书绅。
羊琇为人傲慢轻狂。
杜预拜
镇南将军时，朝中人士竞相庆贺，在席者均连榻同坐。羊琇与
裴楷后至，看到大众连榻而坐的光景，便向裴楷说：“杜元凯（杜预字元凯）还是以连榻招待客人吗？”于是不肯坐下就此离开。
羊琇为人奢侈，生活奢华，连温酒器具都以珍贵的林木炭捣成碎屑制成兽形，令洛阳的豪贵争相仿效。冬天时，羊琇为了制作温暖的美酒，便命人抱瓮温酒，接连换人保持瓮中酒的温度，衍生“抱瓮酿”一词。加上羊琇喜欢宴会，夜以继日，亲戚共聚一堂而且无男女之别，这种生活方式颇为时人讥议。而且他为人放恣犯法，经常受到有司的纠劾。
不过羊琇对属下及同僚极为照顾，尽心地推举人材。对于穷困的人，亦很能施财振恤。选任人才时不根据既定次序提拔，而以得其意者居先。将士都愿意不爱惜自己的身躯与性命而为其致命。