刘廷玑祖父为江南通省布政使、福建巡抚，父亲曾任广平、宁国知府。受惠于康熙皇帝的“门荫通籍”政策，刘廷玑得以出任浙江台州府通判，迁处州府知府，擢江西按察使。康熙四十三年（1704）春，他因江西总督阿山弹劾巡抚
张志栋考核官员不公，而被牵涉了进去，结果被罢了官。依据刘廷玑一贯勤政廉明，刚正不阿的作风，很可能是他在官员考核中得罪了权贵。
刘廷玑被革职后，得到了好友
张鹏翮的援手。张鹏翮时任江南河道总督，驻节清江浦。他同情刘廷玑的遭遇，赏识其人品和才干，特将其招致幕下，协助他监理河工。刘廷玑到了清江浦，僦居于工部街一所院落，安顿好全家老小，写了一首《随遇》诗：“随遇而安颇自由，淮滨苇屋小于舟。积书尚可教孙读，有酒无烦与妇谋。临水已知鱼极乐，当阶不惜草亡忧。升沉得失寻常事，寒过当春暑过秋。”为了使刘廷玑不受蒙冤，张鹏翮对刘廷玑的“谳事”案进行了斡旋，康熙四十四年（1705）冬，刘廷玑的“谳事得白”，他写下了“魑魅潜踪逢日皎，松筠无恙得风清”的诗句，就含有对张鹏翮的感激。翌年秋，又在张鹏翮力荐之下，他被授予“淮徐道监司”，专门负责淮阴至徐州段的河道治理。
淮徐道署虽设在徐州，但隶属于河道总督署管辖，故应张鹏翮之请，刘廷玑仍留驻清江浦。为了方便与张鹏翮联系，及时处理公务，他干脆移居到河道总督署西南隅的一所老屋。
刘廷玑初来清江浦时，曾抱着“老去暂栖公路浦”的心态，后来在张鹏翮的关照下，他逐渐改变原先的想法，认为“此间尽足藏名姓，不类山林不市朝”，产生出隐于袁浦而终老的心愿，他甚至他把清江浦当着自己的故乡，如他在治河工地上写的《野望》诗所云：“阅罢千人畚锸忙，柴门竹杖倚昏黄。漫留河上逢知己，却望淮阴是故乡。”果然，刘廷玑在清江浦一住就是十一年，他的原配妻子和爱妾都在这里去世，他自己也积劳成疾，于康熙五十四年（1715）病卒于
清江浦，卒年62岁。
其诗集《葛庄分类诗钞》十四卷，即是由当时最著名的诗人
王士祯作序；而其散文集《
在园杂志》四卷，由著名剧作家孔尚任作序。当朝大名士亲自染翰为之作序，可见他在当时的文坛也是有一席之位的。刘廷玑的诗虽流传不广，但其《在园杂志》却独树一帜，内容丰富，包罗万象，知识性很强，是少有的佳作。