酷嗜古籍，于古本旧椠爱不释手，所藏宋元刻本既精且富，与北方著名藏书家周叔弢齐名，有“南陈北周”之称，号为江南藏书第一。与广东藏书家潘宗周关系密切，二人均有嗜好宋版古籍，家有南宋廖莹中“世彩堂”所刻《昌黎先生集》一书，而潘宗周藏有“世彩堂”所刻《柳河东集》，遂向潘宗周协商：“世人向以韩柳两家并称，故韩柳二集亦宜并置一处为宜。”建议两书各作大洋2万元，或以《昌黎先生集》归潘宗周，或以《柳河东集》归陈清华，潘宗周为其真情所感动，遂以《柳河东集》归他所藏。因曾以万金获得宋版《荀子》一书，遂名其藏书处为“荀斋”，有一藏书印为“郇斋”。解放前夕，移居香港，携藏书中珍善之本有数十种。其藏品精华有：北宋国子监本《荀子》、《文苑英华》、明成化五年刻本《铁崖先生古乐府》、柳公权70岁写的《神策君碑》、蜀刻本唐人集《许用晦文集》、《张文昌文集》、《孙可之文集》、《新刊权载之文集》、《李长吉文集》、宋咸淳廖氏世彩堂刻本《昌黎先生集》、《河东先生集》，明嘉靖隆庆间内府抄本《永乐大典》、翁方纲藏宋刻本《施顾注东坡先生诗》等许多宋元善本、明抄黄跋等，解放后，政务院文化部曾派徐伯郊先生前去商购宋版书，购回海内孤本书数种，如钱谦益“绛云楼”的旧藏宋版《前汉书》、山阳丁氏的北宋拓本《石经》、南宋蜀刻本《张承吉集》、元刻《梦溪笔谈》等。1950年代中期，因生计问题，将藏书售出，郑振铎亲自报请
周恩来总理，总理批出巨款80万元，收其22部精本，1964年经周总理批示国家图书馆从香港收藏其古籍善本共102种，今藏于北京图书馆。藏书印有“陈印清华”、“郇斋”、“祁阳陈澄中藏书记”、“陈澄中收藏印”等。