山东省图书馆创建于1909年（清宣统元年），是中国十大图书馆之一，据《山东创建图书馆记》载，山东提学使罗正钧于省城旧贡院东北隙地创建图书馆仿浙江宁波范氏“天一阁”旧制， 院内古木假山，曲水拱桥，极为风雅别致，人称“历下风物，此为最胜”。

1905年11月，山东省学务处议员宋恕拟就《粹化学堂办法》，上书山东巡抚杨士骧，请求在山东创办“粹化学堂”，同时请创建“海岱大图书馆”及阅报室，不久又提议，将图书馆及阅报室设在大明湖公园内。此动议后因经费紧张及宋恕、杨士骧先后离开山东，未及实现。

1909年，图书馆建于大明湖畔，典型的馆园结合式建筑，是全国建立较早的省级公共图书馆之一，初建时称“山东图书馆”。图书馆创办之初实行坐办制，1913年9月改为馆长制。

1915年冬，改馆名为“山东公立图书馆”，隶属山东省长公署。

图书馆早期典藏包括四部分：一是书籍，购置各省官书局出版之书，家刻坊版之善本，或以馆中自印书籍与各省官书局交换。1916年馆藏13万卷。此后受经费所限，加之1928年“五三惨案”，藏书遭炮击，损失大半，仅余62770册；二是金石古物，设山东金石保存所储之；三是书画碑帖，罗正钧以提学使名义，通饬各县，就所在石刻，每石拓送一份；四是书板，包括山东官书局版片，仍照旧印售，凡书106种，16983片。编有《山东图书馆辛亥年藏书目录》《山东图书馆重编书目》等。

1929年夏，山东图书馆改称山东省立图书馆，隶属于省教育厅。时任山东省教育厅厅长何思源任命著名学者王献唐为山东省立图书馆馆长。王履新后，即着手改组，重新厘定工作计划，修订馆章，清点馆藏，修缮馆舍，申请经费，购置新书，注重齐鲁乡邦文献的收藏。自是年起至1937年抗战爆发前夕，山东省图书馆迎来了一段事业上的辉煌时期。孔德成先生在1994年撰写的《王献唐先生墓表》中称：“不数年，馆誉鹊起，当时盖以为仅次北平图书馆云。”

1931年创办《山东省立图书馆季刊》和《山东省立图书馆丛刊》，为使新旧图书分类收藏，各适其位，索检便捷，1932年编成《山东省立图书馆图书分类法》。

抗日战争爆发后，省图书馆的建筑、设备、藏书都遭到了严重损失。1937年12月，日军侵占济南，该馆惨遭抢掠焚烧，玉佩桥以东的“海岳楼”、“宏雅阁”等建筑全部付之一炬，留存馆内的图书文物损毁殆尽。

1938年5月起，日伪政权派人修理残毁房屋，在“海岳楼”旧址改建“抱壁堂”，搜集散佚图书，补充新旧书籍。

为使珍贵典籍文物免遭涂炭，王献唐与屈万里选善本及金石书画精品装为三十一箱，分别于1937年10月12日至15日、10月23日、12月20日，分三批运至曲阜孔德成奉祀官府内。又从第一次所运十箱中选出宋元秘本、唐人写经、商周铜器、秦汉瓦当、明清瓷器等装成五箱（余留奉祀官府），于1937年12月27日，王献唐、屈万里与工友李义贵三人携载远徙。

途经铜山、郑州、武汉，在四川万县停留数月，于1938年11月24日，终将图书文物运至乐山大佛寺天后宫中保存，行程凡七千余里。抗战胜利后，被国民党军队占据，先为行辕，后为军火仓库。

在经历了十余年的战火与各种困难局面的考验之后，1950年底，保存在曲阜、乐山两地的珍籍文物完好运回故里，王献唐等人受到文化部的表彰。因历史原因，这批珍贵文物分藏在该馆和山东省博物馆。

1948年9月，济南解放，经过整顿修复，于1949年4月正式开馆，先隶属山东省文教厅，后隶属山东省文化厅。馆内设采编、图书保管、阅览、书目参考、特藏、研究辅导6部和办公室。

1959年，该馆面积达8000平米的“遐园”除抱璧堂外连同古碑刻被划拨给大明湖公园，原有建筑全部拆除，金石碑刻也在文革中被破坏。1963年在奎虚书藏楼前建青砖围墙与公园隔开，中间以飞檐大门相通。

该馆恢复开馆之初，馆内残存的书籍加上一部分国民党官僚机构和私人藏书以及新购图书，共计30余万册。为了尽快将这些书分编上架，1949年7月，副馆长刘惠吾主持编写了《山东省立图书馆分类新法》，1950年1月推出油印本。它是是建国后编制最早的图书分类法之一，被称为“山东法”。这一时期，该馆通过扩大馆内外阅览场所、组织读书小组、兴建图书阅览站、延长开放时间等一系列措施，以及举办报告会、朗诵会、座谈会，办读者墙报等活动。同时举办各类业务学习班。

1952年，更名为“山东省图书馆”。多年来采用阅览、外借、解答咨询、复制、举办展览会、报告会等形式为社会服务。

历时十载的“文化大革命”使图书馆事业遭到极大破坏，该馆业务工作基本上处于淹蹇停滞状态，直至文革结束。

1974年，建成了建筑面积2000平方米的书库楼。

1979年6月成立了山东省图书馆学会，涵盖全省公共、高校、科研等系统的图书情报单位。1981年9月，创办《山东图书馆季刊》。

1984年9月，新建的阅览楼正式启用，设有普通阅览室2个，中文报纸、中文期刊阅览室各1个，外文、文献检索、古籍阅览室各1个，社会科学、自然科学借书室各1个。

1985年，有阅览座位600余个，持证读者2.2万余人，藏书330万册，馆舍面积约1.04万平方米，工作人员117人，年经费109万元。

1994年引进图书馆自动化管理系统，1995年建立光盘数据检索系统，1997年组建了局域网，1999年建立电子阅览室，2000年扩充了计算机网络。主编《社会主义精神文明文献索引》，编纂《易学书目》《山东省图书馆馆藏海源阁书目》《馆藏革命文献书目》等。

2002年10月8日，山东省图书馆新馆开馆典礼在新馆知识广场举行。由中国国家图书馆与山东省图书馆联合建设的“全国联合编目中心---山东省分中心”于2003年8月8日正式成立。

2004年11月13日顺利通过文化部全国公共图书馆评估定级，被定级为一级图书馆。

2022年11月23日起，山东省图书馆临时闭馆，恢复时间另行通知。

2022年12月7日，山东省图书馆恢复开放。

2023年7月19日上午，山东省图书馆省文物考古研究院分馆举行揭牌仪式。

截止到2004年底，图书馆馆藏文献612万（册）件，其中轻工、医学、哲学等门类的收藏已达研究级水平，齐鲁方志专藏、海源阁专藏、易经专藏、山东革命文献等收藏较丰富。齐鲁方志海内存约600种，而该馆馆藏528种，善本58种，《（万历）兖州府志》则为海内孤本。海源阁专藏计2280种32000册，约占海源阁所存藏书的三分之二，并有较多名人手迹，如林则徐、翁同书、吴式芬、钱仪吉、许瀚等人的书札。该馆收藏易经文献1317种，总计2205个版本，近万册。另外，该馆收藏的唐人写经卷、宋刻蝴蝶装《文选》、宋刻巾箱本《万卷菁华》、蒲松龄手稿《聊斋文集》、王士祯批校《昆仑山房集》稿本等均为传世珍品。

馆藏期刊涵盖各个学科，基本形成了一个具有特色的综合性馆藏报刊体系。其中辛亥革命时期的山东独立同盟会机关报《齐鲁公报》、原中国共产党渤海区委机关报《渤海日报》、胶东区委机关报《大众报》等资料文献弥足珍贵。

馆藏外文书刊则以轻工、化工、电子技术、环境保护、医药卫生方面的文献为特色，如美国《化学文摘》从1907年收藏至今，《日本特许公报》从60年代初收藏至今，还有《美国专利文摘》《世界专利索引》《美国工程索引》。

中文普通图书：主要分为社会科学（包括：哲学、政治、经济、法律、军事、教育、文学、历史等学科）、自然科学（包括：自然科学总论、数理科学和活血、天文学、地球科学、生物科学、医学、卫生、农业科学、计算机工程、轻工、化工、建筑、航天、环境等学科）两大类。

中文期刊：年订刊量由99年的3000余种增长到5400余种，涉及政治、文学、法律、科技等各各门学科，种类齐全、内容广泛。

中文报纸：达450多种，涉及全国各省、市的主要党报、晨报、晚报、科技报等，特别是山东省的地方报纸几乎全部收藏，在全面、针对收藏的同时又体现了地方特色。

外文图书：共收藏英文图书51000余册、日文图书1万余册、德文图书1千余册、俄文图书1万余册。内容涵盖社会科学和自然科学的各类图书。

外文期刊：每年新购英文、日文、俄文等三个语种的现刊90余种。

山东地方文献专藏：共有约45000多种60000多册，主要收藏1949年以后出版的在内容上具有山东地方特征的文献，如地方志、年鉴、地方人物传记等。

音像资料：收藏音像资料两万余种，主要内容有国内外的最新影片、科普系列、书画系列、保健系列、儿童动画系列、中小学学习辅导系列、英语学习磁带系列、最新音乐系列。

数字资源：主要收藏有《万方数据（期刊、博硕）》《中国科技期刊全文数据库（维普网）》《中国学术期刊全文数据库（中国知网）》《中国年鉴数据库（中国知网）》《慧科新闻》《国务院发展研究中心信息网》《新东方多媒体学习库》《VIPExam考试学习资源数据库》《晚清民国期刊全文数据库》《全国报刊索引》《点点博创》，以及《中国大百科全书》和《万方新方志》12个数据库。

善本专藏：5567 部62218册，其中抄本近千种，稿本约400种，批校本600多种，海内孤本450多种，如宋刻蝴蝶装《文选》、宋刻《万卷菁华》、蒲松龄手稿、林则徐手札等，均有极高版本、学术价值。

海源阁专藏：2191 种2319部32378册，计元本2，明本368，清本1740，民国6，抄本79，其中收入《全国善本》400多种，且沿有诸多名人手稿、信札。

易庐专藏：977 部3534册，几近存世易籍半数。

山东方志专藏：旧志528种，占现存山东方志的80%以上。

旧平装专献：20880 种43777册，以解放战争时期出版物居多，也有部分抗日战争和第二次国内革命战争时期各解放区的出版物，另有部分敌统区的进步书籍。其中以山东解放区出版物最多。

佛经专藏：明《永乐南藏》一部5200卷5104册，明正统五年刻，万历十二年刻《永乐北藏》两部，其中一部5079卷5078册，另有明万历泥金粉本《华严经》一部，清康熙年间刺血写本《华严经》一部，其余佛家藏书2000余种。

历代刻本：《明永乐北藏》《大学新增合璧连珠声律万卷菁华》。

写抄：《海源阁珍藏尺牍》《古兰经》《丁宝桢奏折》《大方广佛华严经》《高凤翰左手墨迹》《思益经》。

备注：以上内容据2016年3月图书馆官网信息显示

山东省图书馆1994年引进图书馆自动化管理系统，1995年建立光盘数据检索系统，1997年组建了局域网，1999年建立电子阅览室，2000年扩充了计算机网络。馆域网以千兆以太网为主干，桌面带宽达到100M，以1000M的宽带城域网专线实现与Internet的高速互联。分为图书馆业务管理、智能办公、电子阅览、电子教学、数据检索、网站、文化信息资源共享服务等应用系统。

山东省图书馆365天全年开放，每周开放时间达73.5小时；阅览、外借实行全面开架管理，开架书刊数量占该馆藏书近50%，2008年流通量达360余万册次，接待读者170多万人次；开通网上续借服务，读者足不出户就能完成图书续借；设立自助服务的“自助还书箱”，读者24小时可到馆还书。

据2016年3月图书馆官网信息显示，山东省图书馆设有馆长室、办公室、政工科、财务科、研究辅导部、季刊编辑部、读者活动部、计算机网络中心、网吧监控中心、缩微部、采编部、少儿部、综合阅览部、保卫科、物业科、读者书店 办证处、中文外借部、参考咨询部、资源建设部、中文阅览部、中文报刊部 外文部、中文阅览典藏 历史文献部、培训部等部门。

1911年，编纂山东省图书馆建馆后的第一部书本式目录--《山东图书馆辛亥年藏书目录》。

1916年4月，编制成《山东图书馆重编书目》。

1932年，王献唐与该馆编藏部同仁通力携手，共同完成了《山东省图书馆图书分类法》。山东省图书馆用此法分编的图书近50万册，并一直影响到解放后《山东省立图书馆图书分类新法》（即《山东法》）的编制。

1949年7月，山东省图书馆副馆长刘惠吾带领大家着手编写了《山东省立图书馆图书分类法》，这是建国以来图书馆编制最早的分类法之一，被成为《山东法》。自此，《山东法》不断修改。从1949年起至1976年改用《中图法》之前的27年，该馆用《山东法》类分中外文图书总数达200余万册。

由山东省图书馆、山东省标准化研究院共同承担制定了《图书借阅服务规范》，2009年4月已经通过报批，作为地方标准由山东省质量技术监督局正式发布并实施。这是中国首个图书借阅服务行业的政府标准。

《山东图书馆学刊》原名《山东图书馆季刊》，1981年创刊。是由山东省图书馆主管，山东省图书馆、山东省图书馆学会联合主办，是山东省唯一的图书馆学专业刊物，辟有“学术论坛”、“工作方法研究”、“读者工作”、“学术与传承”、“东方阅读书院”、“图书馆现代技术””、“册府说苑”等栏目。刊登的论文内容涉及图书馆学、情报学、文献学等各个领域和图书馆工作的方方面面，既有立论独到的大家之作，亦有观点新颖的中青年优秀论文，并时刻关注图书馆界的理论热点，如图书馆n.0、知识经济与图书馆、图书馆立法研究、阅读学研究等。

山东省图书馆标志以变形的字母“S”和“D”为基础，以绿色人文、书籍是人类进步的阶梯为理念，展现出了山东省图书馆的人文气息。

山东省图书馆下辖的少年儿童图书馆不定期的在馆内外开展各类读者活动，如举办讲座、报告会、征文演讲、展览、知识竞赛、灯谜会等，许多学校将该馆列为德育教育和社会实践活动基地，组织学生定期来该馆参观、上阅读课，利用寒暑假参加社会实践活动等，2000年和2002年分别在山东省未成年人管教所和济南特殊教育中心建立分馆，送书并开展活动。

2001年和2002年该馆两次分别被省直机关党委、省妇联授予“巾帼文明示范岗”荣誉称号。2003年被山东省宣传部、省妇联、团省委等六家单位联合授予“山东省小公民道德建设示范基地”荣誉称号。

该馆自2012年1月1日起，每周一下午闭馆（周一遇国家法定节日假期除外）

2021年8月，山东省图书馆中文图书外借部被命名为“第20届全国青年文明号“。

2021年10月，山东省图书馆总馆入选100个“好客山东网红打卡地”名单。

2023年12月18日，入选文化和旅游部公布的第七次全国县级以上公共图书馆评估定级上等级馆名单，并被评为“一级图书馆”。