袁枚是“性灵说”的倡导者，此书贯穿了他的论诗主张。他说：“诗之为道，标举性灵，发舒怀抱。”“从《三百篇》至今日，凡诗之传者，都是性灵，不关堆垛。” “性灵”一字昔人早用以论文，如刘勰《文心雕龙·情采》言“综述性灵，敷写器象”。颜之推《颜氏家训·文章篇》：“标举兴会，发引性灵。”《南齐书·文学传叙》：“大则宪章典诰，小则申述性灵。”《周书·王褒传论》：“陶铸性灵，组织风雅。”古代所谓“性灵”都是指人的性情，袁氏所说“性灵”，虽然包括性情之意（《随园诗话》涉及“性灵”这个词也有许多是单指性情而言的），但作为能概括一种诗学理论的用语，“性灵”是应指性情和由性情出发的机敏机灵而言的。这种机敏和机灵就是诗人进行诗歌创作时所具备的灵感。 性情之真是“性灵”的基础。他说：“熊掌豹胎，食之至珍贵者也，生吞活剥，不如一蔬一笋矣；牡丹芍药，花之至富丽者也，剪彩为之，不如野蓼山葵矣。味欲其鲜，趣欲其真，人必知此，而后可与论诗。” 袁氏把“言志”与“缘情”等同起来，“千古善言诗者，莫如虞舜，教夔典乐曰：‘诗言志’。言诗之必本乎性情也”。他还特别重视男女之间、父子之间、兄弟之间、朋友之间的普通情感。他说：“诗者，人之性情也。近取诸身而足矣。其言动心，其色夺目，其味适口，其音悦耳，便是佳诗。”人的这种性情只要不被尘俗所尘翳，不被现实所扭曲，遇有机缘，自然会迸发出诗的灵感。所谓“兴会所至，容易成篇”。书中批评了王士祯的“神韵说”、沈德潜的“格调说”、翁方纲的“肌理说”。 针对“神韵说”中的“以禅喻诗”驳斥说：“毛诗《三百篇》，岂非绝调？不知尔时禅在何处，佛在何方？”针对王氏口头禅“味外味”驳斥说：“味内味尚不能得，况味外味乎？”他认为王士?论诗是“主修饰”，言其性情之不真，他的诗是假诗。这和赵执信对王士祯的批评是一致的。对于“格调说”，他引杨万里的话说：“从来天分低拙之人，好谈格调而不解风趣，何也？格调是空架子，有腔口易描；风趣专写性灵，非天才不办。”又解释说：“余深爱其言。须知有性情，便有格律，格律不在性情外。《三百篇》半是劳人思妇率意言情之事，谁为之格、谁为之律？而今之谈格调者，能出其范围否？况皋、禹之歌不同乎《三百篇》，国风之格不同乎雅颂，格岂有一定哉？许浑云：‘吟诗好似成仙骨，骨里无诗莫浪吟。’诗在骨不在格也。”针对“肌理说”，他说：“考据之学，离诗最远。”“经学渊深，而诗多涩闷，所谓学人之诗，读之令人不欢。”他所提倡的是富于才情，有鲜明个性，从中能见真实的自我的清新活泼的诗歌。 书中还记录了乾隆间大量诗事，有助于了解认识当时文坛风尚。 此书在袁氏生前就已刊行，随编随刻，在诗坛上产生了很大影响。钱锺书在《谈艺录》中言：“此书家喻户晓，深入人心，已非一日。自来诗话，无可比伦。”道咸之世，坊间有三大畅销书即：《红楼梦》、《聊斋志异》和《随园诗话》。《随园诗话》后来还有批本行世。
人民文学出版社1982年出版了顾学颉校点本，后附伍拉纳之子（可能为仲山）之批语。