嘉靖十四年（1535）进士，历官翰林院编修、礼部左侍郎、吏部左侍郎、
礼部尚书，嘉靖三十六年加太子太保。吴山为人正直，不媚权贵，他与
严嵩同乡，严子世蕃欲与为婚姻。吴山坚决拒绝，
严世蕃不悦而罢。世宗皇帝欲用吴山为内阁阁臣，严嵩在暗地里极力加以阻挠。嘉靖四十年二月，吴山以日食上疏言事，触逆世宗皇帝，遂被致仕。穆宗即位，召吴山为南京礼部尚书，他坚辞不赴。万历五年（1577）三月十五日卒，年七十八。赠太子太保，谥文端。吴山著作有《治河通考》十卷，崇祯十一年(公元1638年)重新刊印，有他的曾孙吴士颜写的序略。
吴山的父亲因被翰溪黄氏聘为山谷私塾先生住在翰溪山谷堂，为人忠厚，乐于助人。有一天，去高安县城领年俸买年货，遇到一位卖妻之人，询问为什么要卖妻，卖妻者告诉他，是举债经商，亏本遭讨债，值钱的家当都卖光了，也无法还债，走投无路，只好卖妻。吴先生问，还欠多少债。卖妻者说，二十两银子。吴先生对卖妻者说，我给你二十两银子，你还卖妻么？卖妻者立即跪地磕头：不卖妻，不经商，带妻开荒山。吴先生把所领的年俸，全部给到卖妻者。
吴先生空手回到家，他的夫人问，为何空手而回。吴先生把事情经过告诉夫人，并说道：我吴某是乱花钱的人么？夫人没有责怪他，拿出嫁妆，要吴先生去典铺换回银两，买米回家过年。买不起鱼肉，只好买了些河虾。在两人吃年夜饭（除夕饭）的时候，突然，有声音：手提竹筷夹金虾，明年生儿中探花。（后被黄氏族人题写在山谷堂的楼子的南边墙壁上）吴先生大吃一惊，环顾四周，不见人影，马上带着夫人跪拜，不是鬼是神灵。第二年（1500年），吴先生的夫人果真生下了活泼可爱的男儿吴山，吴山继志书香，奋力
读书，名扬黉宫，在1525年（嘉靖十四年）果真中了探花，世人称之为吴探花。（出自《诗祖堂翰溪黄氏廷元公支谱》）
吴山身居高位，却从不许子穿着绮罗绸缎在别人面前炫耀。有一次，他的儿子换上一身印有彩色花纹的丝织服装去书院参加考试。吴山心里很不高兴，训斥道：“考试是检查你的学问，又不是品评你的衣着!”硬是逼着儿子换上青衣小帽去赶考。