潘怀素少年有志于学，20多岁即远渡重洋，先后留学日本和德国，获得博士学位。民国10年（1921）6月在日本留学期间，曾参加郭沫若与成仿吾创办的“
创造社”，从事文学翻译工作，推动
新文化运动。
回国后，任《晨报》记者，先后任教于中山大学、北京大学、清华大学、同济大学、
中央音乐学院、安徽大学。从德国留学回国后，被蒋介石聘任为黄埔军校的政治教官，1926年参加北伐。潘怀素是
中国农工民主党创建人之一，1930年和邓演达在上海组织成立
中国国民党临时行动委员会（中国农工民主党前身）。民国24年（1935）“一二九”运动期间，潘怀素是北京大学17位教授联名发起关于抗日救亡宣言人之一。1936年，潘怀素受救国会委派，赴西安游说杨虎城发动西安事变。建国后，任国务院参审。酷爱音乐，在乐律方面有很深造诣。随后发现整理智化寺京音乐，使这一古乐化石重见天日。1953年，辞去政务，致力于乐律研究，成为我国隋唐燕乐和民间乐律研究专家。1957年，翻译出版《敦煌琵琶谱我读研究》一书，为研究敦煌曲谱，提供宝贵资料。他带领学生到福建、广东、陕西等地采访民间音乐，并参考我国历代音乐文献和各国音乐著述，经过30多年努力，终于发掘和整理出中国式的纯正韵——二十三不等分纯正律。“
文化大革命”期间，惨遭迫害，夫人被迫自杀，自己到处流浪，仍不忘乐律研究。1978年春，以84岁高龄从
温州去北京，因路途劳累，一病不起。在告别人世的最后一刻，手里还紧攥着乐律资料和文稿。潘怀素为我国开创的律学研究新路，在1983年11月北京召开全国首届律学学术讨论会上，获得高度评价。