祖父尹耕云，清道光庚戌（1850）进士，官河陕汝道加布政使衔。由于尹家与
杨士骧家是世交，后任山东巡抚的杨士骧为尹柏寒安排了一个官费去日本留学的名额，1908年春，入日本陆军士官学校第七期（见《日本陆军士官学校中国留学生名录》55人）学习马兵科，与蒋介石是先后同学（蒋为第十期）。尹柏寒学成回国投入军界，参加辛亥克复南京的“天堡城战役”，南京光复后任“徐上六县（邳、沛、肖、丰、睢宁、铜山）清乡司令”，继任南京要塞第二旅旅长，“二次革命”时，任上海镇守使署少将参谋长。民国以后到北伐战争的二十多年间，尹柏寒相继经历了1920年的“直皖战争”、1924年的“江浙战争”、1926年的“人豫之战”。1915年任湖北全省中将警备副司令。长期军旅生活和尔虞我诈的争斗使他感到十分厌倦，后离职在上海做“寓公”，结识中国民主促进会负责人王绍鏊（解放后曾任“民进”副主席、财政部副部长）。日本发动侵华战争后，尹对蒋介石“攘外必先安内”政策不满，曾秘密加入中国共产党，成为中共“特别党员”，抗战爆发后，利用自己特殊身份和经历，掩护中共高级领导人王必成（中将，曾任昆明军区司命员）、高原（解放后在司法部工作），为坚持苏北抗战的新四军罗炳辉、黄克诚部购买药品棉花等军需物资。在他的影响下，侄辈尹莹升（后改名陈冰）、楚升、珍升（后改名尹定）、秀升（后改名李利）等参加了抗日救亡运动，投身革命，有的解放后成了我党的高级干部。