学校前身为1906年成立的山东高等农业学堂。1922年6月成立学校历史上第一个图书馆。1958年10月，图书馆随山东农学院迁至泰安。1964年建成4000平米独立馆舍，藏书231440册。1984年学校图书馆更名为山东农业大学图书馆。1990年建成8053平米图书馆楼。1992年引进深圳图书馆集成管理系统（iLAS）。1998年建成图书馆门户网站。2000年与原山东水利专科学校图书馆合并，2009年原山东林业学校图书馆并入。2003年南校区建成2.05万平米图书信息楼，实现校园“一卡通”。2012年北校区建成山东省高校首个RFID智能图书馆，2016年RFID智能管理服务覆盖南北校区。2014年图书馆管理系统更换为汇文系统。
图书馆拥有两个校区3处馆舍，面积2.23万平米，阅览座位3182个，电子阅览室电脑585台。设北校区借阅部、南校区借阅部、资源建设部、系统建设部、信息咨询部和办公室等5部1室，并设有图书馆情报研究中心、《信息检索与利用》教研室。在职职工74人，其中高级职称25人，中级职称34人。图书馆设学术委员会及文献资源建设、自动化建设、阅读推广等专业委员会，中国农学会农业图书馆分会副理事长单位、山东省高等学校图书情报工作委员会常委馆。被中国农学会科技情报分会授予“先进团体会员单位”，被山东省教育厅授予“山东省高等学校图书管理先进单位”，被山东省古籍保护中心授予“山东省古籍保护工作先进单位”。被山东省委宣传部命名为“山东省社会科学普及教育基地”，被泰安市委宣传部命名为“泰安市社会科学普及教育基地”。
建立了以农业科学和生命科学为优势和特色，覆盖其他相关学科的文献资源保障体系，有纸本馆藏265.54万册，现刊1429种，报纸70种。建设了中国知网、维普、万方、超星、新东方英语、Web of Science、Wiley、ScienceDirect、Proquest、Springer、Science Online、Nature等中外文电子资源库94个，其中电子图书156.54万册，电子期刊87.46万册，学位论文435.08万册，音视频19.37万小时。古籍图书293种5225册，最早可追溯至明代版《三国志》。
馆藏书目数据、随书光盘和电子资源7×24小时网上运行，提供图书借还、情报分析、参考咨询、原文传递、查收查引、学术检索、教育培训、阅读推广、电子阅览等服务。自主研发新生入馆教育网上闯关系统。编辑《书香山农》馆报。
建设了座位预约、智能门禁、广播、电子大屏、视频监控、自助文印等保障系统，周开放98小时。
坚持“读者为本、服务至上”办馆宗旨，围绕高水平大学和“双一流”建设目标，全面服务教学科研、人才培养、学科建设、文化传承等中心工作，努力把图书馆建设成为国内同类高校一流的“信息资源中心、自主学习中心、研究交流中心、知识管理中心、文化传承中心和协同创新中心”。（截至2018年12月）
