商山书院始建于
明嘉靖年间，当时抚治商洛道郗元洪即在
商州城北坡
大云寺创建了商山敷教书院，由
知州夏文宪延聘三原马理(官至光禄寺卿，致仕后来商州)主持。到万历十三年(1585)将书院迁往东龙山。但因距城较远,士子往来不便，历五年后，即万历十八年(1590)，抚治商洛道苏浚又把书院迁回北坡原处。
嗣后，知州王邦俊重修书院，改名为“仰紫书院”。此后,五十余年，书院书声不辍，为地方培养了大批人才。到明崇祯十六年(1643)，李自成军突起，不知是出于“官兵”守城的需要,还是因为攻城的摧毁，房舍毁废，书院停办，直至
雍正十一年(1733),清政府令各府、州、县书院,把无论士绅筹资私办或地方政府营建的所有书院具准审报核查。
至乾隆元年(1736)，商洛州牧王如玖在北坡大云寺书院旧址新修学舍三楹，书院得以恢复。嗣因偏僻，士子往来不便，书院又逐渐荒废。
乾隆十九年(1754)，州牧罗文思锐意图新,捐纳私俸，购置地基,新选院址。先捐银二百四十两，买东门里庄基三亩二分，连同房屋十六间。后又捐俸银四十八两，续置土地六亩。
至乾隆二十年(1755)，再捐俸银一百二十两，修建告成,命名“商山书院”。院宇宏伟华丽，深遽堂皇。曾有两广总督(前
陕西巡抚)桂林陈弘谋所题的大堂四字“大有事在”。屏门大书朱子白鹿洞书院教规，左右两边又书罗文思撰写的《相题说》及《惜字引》。
书院一时臻盛,士子云集。广聘名流以课士子。曾任河南睢州州判、四川绵州州判的选贡王学逊和曾任江南泗州知州与户部主事的乙丑进士陈慕楷等都先后来院执教。经费从不宽裕,嘉庆至道光年间,一些官员们仅能稍事资助;直到咸丰、同治、光绪诸年间，费一直没有妥善解决。知州恒亮、曹熙、陈作枢、李寿荣、黄照林、李素等官员们,曾多次劝募，费仍无着落。因此只能依靠群众捐助及学田课租维持。
光绪三年(1877)，藩饬发银五百两，贷生息，为“山长(即院长)修脯，子月课、膏火”之用。同年知州黄照林移书院于启秀阁，名:“熊耳书院”。后知州李素仍移回原处，名为“商山书院”，
光绪二十七年（1901），时任商州
尹昌龄奉清廷之命将“商山书院”改制为“商州中学堂”，商山书院的历史使命始告终结。