潘金声幼时家境清寒，14岁离开中国台湾赴日本半工半读，后进入日本横浜高等工业学校攻读机械专业，课余喜爱口琴。1928年，考入台湾总督府任技士。目睹同胞受日本统治者的欺凌压迫，毅然离职来到上海。
当时上海口琴很流行，为学生喜爱的乐器之一，但市场上都是德国、日本口琴，潘金声决心自己制造口琴与。他的想法得到
北新书局李志云的赞赏，并集资筹建口琴厂。1931年，租赁上海福煦路1242号（今
延安中路1234号）作厂房，定名“中国新乐器制造股份有限公司”，李志云任董事长，潘金声任总工程师，负责建厂工作。前期资金不足，既无图纸、设备，又缺乏技术人才，潘金声不前后10余次去西欧、日本考察，回来后自绘图纸，带领六七名技工研制，经过多次失败、挫折，试制成功8孔、10孔小型玩具口琴。
1933年3月，潘金声推出其制造的宝塔牌20孔口琴，这是第一只国产口琴，填补了中国口琴工业的空白。为了提高国产口琴质量，他亲自监督校音，特聘中华口琴会创办人王庆勋、
王庆隆兄弟俩及光明口琴会会长鲍明珊为监制人。为开拓产品销路，他将全部产品委托上海商务印书馆经营，从此国产口琴打开了国内外市场，结束了中国人不能制造口琴的历史，打破了德国口琴在中国一统天下的局面，潘金声被誉为“中国口琴之父”。为推销、普及国产口琴，他在中国青年会大礼堂主持召开“潘金声先生第一次口琴表演大会”，领衔表演口琴独奏、重奏等节目。之后又赴新加坡进行演出，扩大中国口琴影响，很快在星岛华侨中形成“口琴热”。他又推出新品21孔、24孔口琴，满足了消费者需要。由于他在国难时期为提倡国货，致力于发展民族工业作出了贡献，深受社会各界人士之推崇，国民政府主席
林森特题字“国产增光”。
1936年9月，潘金声以普及口琴，提高国人音乐水准为宗旨，编选了大量口琴乐谱，在《潘金声选曲标准乐谱》内有《春之歌》《乘风破浪》等527首，还出版了《潘金声氏口琴吹奏法》一书，起了辅导和推动作用。
上海解放后，他创办华侨口琴厂，致力于口琴产品的改革、制造，设计出音宏、耐吹、轻松的阔度音簧，命名为“潘金声超级口琴”。电台设有潘金声口琴节目，销量广、影响大。上海作家书社出版发行了他编著的《车床齿轮搭换表》《冲床工作法》《金属防蚀及涂料》等书。