原收人《
四库全书》子部艺术类书画之属。但在《钦定》刊行的《四库全书》《纲目》裹却找不到这部书。原因是在《四库全书》编纂过程中，发现一些所谓“语有远碍”书籍，故被下旨严查、销毁，《书画记》和周亮工的《读书录》等十余种书因此被撤出销毁。由于上述缘故，该书只有少数钞本流行。
该书是其在各地看到的、收到的古书画作品以及与各界人士交往的随记。所记书画作品从明
崇祯八年起至清
康熙十六年止，按所见到的和得到的书画作品的时间为序。对作品的记述顺序依次为：作品质地、保存状况、艺术特色、款识、题跋、收藏的印记以及他人或自己的鉴定意见，最后记阅于某人、某地、某时。对收藏者和交易者亦加以简略介绍。每条记述的详略依作品的轻重而定。此外还记述了一些鲜为人知的鉴定家、古董商、书画装裱家的情况，补充了这方面文献记载的不足。该书所记载的晋、唐、宋、元
古代书画作品，是我们今天在鉴别书画真伪、评骘优劣方面的宝贵资料，对古书画研究具有很大参考价值。
吴其贞（大约1607-1681），字公一，号寄谷，室名“梅景书屋”。他出生于鉴藏世家，其父吴豹韦“笃好古玩书画，性嗜真迹。尤甚于扇头，号千扇主人，然不止千也”。清代安徽休宁商山人，古代书画鉴藏家，出生于1607年（万历三十五年），1678年在世，去世时间不详。《书画记》是其撰写的一部书画着录书，也是一本记载去本人从事书画交易活动的实录性质的著作。