寺，在城内东北隅，铁塔西南角约半里许，因寺离铁塔较近，又叫铁塔寺，
河南大学设在该寺东南。该寺建时，此处很繁华，大门外有几条街，据老人忆，河南大学大礼堂后基本都为大街，如回龙街、青龙街等，后一班小平房为举房。后该寺周围附近的回民迁至漯河、宁夏、洛阳、郑州、西安等地的很多，致使北大寺四周荒凉冷清。
据传，1901年清
慈禧太后和
光绪皇帝由西安回銮北京，路过开封，有个年轻回族小太监，二十来岁，去北大寺游玩，见寺中殿宇破烂不堪，问及何故，教长说修寺的款已募好了，在杞县买了一座家庙，拆下材料，来修大殿，款已交付，而县府不准拆运。小太监听后说：“岂有此理，我有法叫他送来”，不久，杞县果然将屋架等材料运来，1902年，该寺因此重修。
民国时期，该寺附近所住人家不及七、八户的样子，头门外有大红影壁一座，高杨大槐数株，门楼殿房概为旧式，亦甚可观。后门外有高足狮守于两侧，近邻有凿的活水的清流一溪，东北去有开封八大名胜之一的铁塔。当时该寺所属回民，约有三百至四百户的样子。因寺所在地荒寥，又离大街较远，故大部分居于西北大街以及左右的大街巷，如半截戏楼等街。回民的营生方式，靠地下剐土作盐的，大约有三分之一。其他有卖粗饭的，有贩卖零食的，也有一部分是赶脚的或拉洋车的，载客人和运送货物于北门至黄河渡口的出力人。
所属下的二百余户，人口千余，有海里凡4人。礼拜殿13间，其中卷棚3间，大殿3间，中殿3间，后窑1间。凡三进。院内有四棵梧桐和一棵皂荚树。沐浴室6间，会议室3间，大门3间，教长室3间，杂房3间。另，该寺以寺养寺，所属11间房位于寺西南，辟为北大清真寺旅社。1989年8—9月开封电视台曾在该寺拍电视剧《好汉马龙》，并赠寺镜框。
据老者回忆，不完全统计，曾在该寺任阿訇的杨阿訇，立有碑，载其前45位阿訇姓名。其后为白阿訇（开封人）、张阿訇（开封人）、五阿訇（开封人）、冯振章（甘肃人）、马负图（甘肃人）、张国彦（大新庄人）、马德庆（怀庆府人）、尚阿訇（开封人）、石亭章（开封人）、丹鹏举（开封人）、刘聚岭（封丘县海庄人）、安金奎阿訇（甘肃平凉人）等十七位。
寺原存碑四，一碑《密南宫碑》大约一尺多宽，三尺左右长，四、五指厚，于本世纪三、四十年代遗失，该碑内容已无从考查；一碑在寺大殿山墙上，为《龙马负图处碑》，系嘉祐二年（公元1057）三月龙图阁学士知开封府包拯书；另一碑于水房墙上，为《王老太太捐施土地懿行碑记》，记中华民国二十八年（公元1939）王青山先生贤内助陈氏老太太捐地于寺事；另一块碑，收藏于水房西三间房内，上载杨阿訇以前45位阿訇的姓名，系中阿文对照。
寺院内东南角有一棵皂荚树，该树有二百年的历史，抗日战争时期曾毁于炮火，后又发芽成长，公元一九九O年七月十日凌晨三点四十分钟左右，大雨倾盆，厉风怒吼，将其树帽全部折断，甚可惋惜。
文革期间，北大寺的寺内设备和八块大匾、八块抱柱匾（中文篆字），遭到破坏遗失。八块大匾据忆，有一块蓝色带金边，有三块上的字为：“认主独一”、“道原性识”、“天堂大道”，皆系旧时官员及有名人士题赠。