山伟，字仲才，河南
洛阳人，他的祖先为
代人。祖父山强，容貌美好，身长八尺五寸，擅长骑射，弯弓力量可以达到五石。他出任奏事中散，跟从魏显祖（即魏
献文帝拓跋弘）到方山打猎，有两只狐狸从御座前惊起，魏显祖令山强射杀它们，一百步之内两只狐狸都被射倒。山强的官做到内行长。山伟的父亲，山稚之，是营陵令。山伟随父到县里，拜县里的王惠为师，广泛涉猎文史著作。山稚之的官后来做到了金明太守。
熙平元年（公元516年），元匡担任
御史中尉，推举山伟兼任
侍御史。入衙五天，便碰到皇帝元旦与群臣举办朝会。山伟负责掌管守卫神武门，他妻子的堂叔是羽林队主，在殿门前打直长，山伟立即向皇帝弹劾他妻子的堂叔。元匡称赞他，不久官位转正。兼任
国子助教、迁任
员外郎、
廷尉平。
当时天下无事，进官十分困难，代郡迁南洛阳的人，大多被吏部所压制，没有升职，不能做官。等到
六镇、
陇西二方叛逆乱起。正光五年（公元524年），领军元义想启用代郡南迁的下门寒士作为传诏使者以慰悦人心，而牧守子孙投递状书谋求求此职务的多达一百多人。元义又想杜绝这种现象，因此启奏立勋附队，令各依门第出身。从此北人都被收录。山伟于是上奏记录此事，赞颂元义的美德。元义从来都不认识山伟，找侍中安丰王元延明、黄门郎元顺询问，元顺等因此称荐他。元义命令仆射元钦引山伟兼任尚书二千石郎，而后正名士郎。修撰《
起居注》。仆射元顺主持选举，上表推荐山伟为
谏议大夫。
尔朱荣加害朝官，山伟当时在朝廷值班，所以免于祸难。等到庄帝入宫，依旧让他担任给事黄门侍郎。不久，山伟担任
著作郎。先前被废的皇帝再次登极，山伟拜授
安东将军、
秘书监，且任然担任著作。尔朱荣所率领的胡人骑兵因杀朝廷大臣太多，不敢进入洛阳城，便想将国都迁到北方。尔朱荣犹疑了很长时间，武卫将军泛礼坚决反对迁都。十四日，尔朱荣护送孝庄帝进入洛阳城。孝庄帝登上太极殿，下诏大赦天下，改年号为
建义。跟从太原王尔朱荣的将士，全部晋升为五级官阶，在京城中的文官晋升二级官阶，武官晋升三级，百姓免除租役三年。当时文武百官已荡然无存，即使活下来的也大都逃窜藏匿起来，不再露面，只有
散骑常侍山伟一人拜见皇帝，接受赦免。
当初，
尔朱兆（尔朱荣侄子）攻入洛阳，官员奔散而去，国史典书高法显秘密埋起史书，所以史书不曾遗落。山伟把这当作自己的功劳，上表告诉皇上请求赏爵。山伟依附迎奉
尔朱世隆（尔朱荣堂弟），于是被封东阿县伯，而法显只获的男爵。山伟不久官至侍中。天平元年（公元534年），除授卫大将军、中书令，监管修编《起居注》。后以本官又领著作，死于官。朝廷追赠他为骠骑大将军、开府仪同三司、都督、幽州刺史，谥号为文贞公。
《魏书》：史之遗阙，伟之由也。外示沉厚，内实矫竞。与綦俊少甚相得，晚以名位之间，遂若水火。与宇文忠之之徒代人为党，时贤畏恶之。而爱尚文史，老而弥笃。
在尔朱荣攻入洛阳，扶持孝庄帝之前，山伟与仪曹郎袁升、屯田郎李延孝、外兵郎李奂、三公郎王延业等人并驾而行，山伟稍稍居后。路上碰到一个尼姑，她望他们叹气说：“这些人哪，将会同日而死。”对山伟说：“你刚近天子，应当作好官。”而后尔朱荣加害朝官，袁升等四个人，都在河阴遇害，果然应验了她说的话。