虽然长得美，但
潘安并没有以此为资本拈花问柳，他对妻子杨氏用情专一，十分难得。
潘安12岁时，便与10岁的杨氏定亲，杨氏是晋代名儒
杨肇的女儿。婚后，俩人共同生活20多年，夫妻情深。妻子不幸早亡后，潘安对她念念不忘，作了三首有名的《悼亡诗》来怀念妻子。因为他的诗，导致后世把悼亡诗也限制在了悼念妻子的范畴里。
潘安的悼亡诗中，名句也很多，像用
比目鱼比喻夫妻情深，《悼亡诗一》中有一句“如彼游川鱼，比目中路析”，是说夫妻一人先去，像比目鱼的分离。安仁的三首悼亡诗都写得情真意切，
李商隐说过“只有安仁能作诔，何曾宋玉解招魂”，赞扬的就是他的这三首诗。
唐朝诗人
元稹对潘安的悼亡诗有个评价“潘安悼亡犹费词”，这评价相当确切，与
苏轼的《江城子》相比，潘安的情没有那么刻骨铭心。不过，也不能全怨潘安，
魏晋时期文风本就是铺垫、堆砌成风。
潘安的《
怀旧赋》中这样写道：“余十二而获见于父友东武戴侯杨君。始见知名，遂申之以婚姻。”潘安十二岁与父亲的朋友、大儒、
扬州刺史杨肇相见，被杨肇赏识，许以婚姻。后来杨氏早亡，潘安对杨氏感情至深，自此不再娶，并作《悼亡诗》怀念杨氏，开悼亡诗之先河，这之后悼亡诗的范畴仅限于悼亡妻子。《悼亡诗·一》中有一句“如彼游川鱼，比目中路析”，是说夫妻一人先去，像比目鱼的分崩离析。潘安的三首悼亡诗都写得情真意切，李商隐曾讲“只有安仁能作诔，何曾宋玉解招魂”，表扬的就是他的这三首诗。唐朝诗人元稹对潘安的悼亡诗有个评价“潘安悼亡犹费词”，因为人已经离去，无论怎样悼亡，都无法唤回对方的生命。