魏玄，字僧智，任城人。六世祖魏休，仕西晋为鲁郡守。永嘉南迁，于是定居
江左。父
魏承祖，北魏景明中，自南齐投归北魏，在新安安家。
魏玄年少便志气昂扬，有胆量和谋略。
普泰中，魏玄任
奉朝请。多次随军与梁军交战。
永安初，魏玄因功被授予
征虏将军、中散大夫。等到孝武帝西入关中，东魏北徙，世态动荡不安，人们各自离散。魏玄招募乡里，在
关南建义兵，随从
韦祐与东魏司徒
高昂在
关口交战。等到
独孤信进入洛阳，魏玄隶属于行台杨琚在马渚防备。魏玄又与高昂交战。从此魏玄每率乡兵，抗拒东魏。前后十余战，都有战功。
邙山之战时，西魏军作战不利，宜阳、洛州都被东魏攻陷。崤山以东的义兵，都怀有异心。而魏玄的母亲和弟弟都在宜阳。魏玄认为忠孝不两立，于是率义军回到关南镇抚。
宇文泰手书慰劳他，拜魏玄为
洛阳县令，封
广宗县子，邑四百户。十三年，魏玄与开府
李义孙攻拔伏流城，又攻克孔城，然后就与李义孙镇守。不久魏玄转镇伏流城。十四年，朝廷授魏玄
帅都督、
东平郡守，转
河南郡守，加
大都督。十六年，洛阳安民雍方隽占据郡城反叛，率步骑一千，自称行台，攻破郡县，抓捕地方长官。魏玄率弘农、九曲、孔城、伏流四城的兵马将其讨平。魏恭帝二年，魏玄拜车骑大将军、仪同三司。
孝闵帝登基，建立北周，魏玄进爵为伯，增邑通前九百户。保定元年，魏玄转镇蛮谷。四年，魏玄进位骠骑大将军、开府仪同三司，转镇阎韩。接着魏玄随从
尉迟迥围攻洛阳。天和元年，陕州总管
尉迟纲派遣魏玄率领仪同宇文能、赵乾等步骑五百在
鹿卢交南，袭击东魏洛州刺史
独孤永业。独孤永业率军二万余，魏玄率领五骑前往侦查敌军，与敌军相遇，便交战，魏玄杀伤数十名敌军，缴获敌军的马和甲槊等，独孤永业于是退走。二年，魏玄进爵为侯。拜白超防主。三年，魏玄迁
熊州刺史。魏玄施政宽大仁惠，百姓都喜悦。四年，魏玄转
和州刺史、伏流防主，进爵为公。五年，北齐将领
斛律光率军攻向宜阳，兵威甚盛、魏玄率兵抵御，每战皆胜。后来，魏玄在任上去世。