生于长野，卒于静冈。1912年毕业于东京音乐学校钢琴专业，同年12月作为代课教师被浅草区千束寻常小学录用，在教学的同时积极投入创作。1914年自费出版了歌曲《喀秋莎之歌》博得好评，成了其作为职业作曲家的开端。两年后陆续出版《春雨》（1916）、《凤尾船之歌》（1916）、《流浪者之歌》（1917）等作品，逐渐确立了作曲家的地位。不久辞去教职，全身心投入到音乐创作中。之后创作的《船头小调》（1921）、《波浮之港》（1928）、《东京进行曲》（1929）、《东京音头》（1933）等成为脍炙人口的流行作品。他的歌曲创作逐渐形成了一种模式，去除音阶中四度和七度音的五声性阴音阶，被称为“中山晋平式的乡村民谣音阶”。歌曲的样式往往以小调性4小节、4段体为多，形成了被称为“晋平节”的歌曲模式。后形成日本歌谣的典型样式。他的创作主要在声乐领域，歌曲有2000余曲，出版有《中山晋平集》（1952）、《中山晋平作曲全集》（含童谣篇上、下，1956；新民谣篇一卷，1963）等。

晋平的原生家庭由父亲实之助、母亲宗、次子明孝（实际上的长子）、三子隆太、四子晋平、五子哲造共六人组成（长子贯藏早逝）。父亲致力于地方自治，具有很高的文化素养，但在晋平还是小学生时因病去世。尽管身材矮小，但坚强的母亲在养蚕和农田工作的同时，独自支撑着中山家。晋平在完成普通小学教育后，帮助家务一年，然后升入高等小学，但因家庭经济原因中途退学。之后，他在小诸的大和屋吴服店工作，但一个月后以假病为由返回家中。随着哥哥在郡政府工作的收入增加，晋平得以重返高等小学，并以第一名的成绩毕业，尽管比原计划晚了一年。即使在上京后，晋平也经常给哥哥写信寻求帮助，并在他们的经济支持下继续学习音乐。得益于家人的无私支持，晋平能够在东京继续他的音乐事业。

晋平小时候是个淘气的孩子，但随着成长，他逐渐对文学产生了兴趣。根据老朋友新木德贞的说法，晋平在高等小学时与四位朋友一起制作了文艺同人志，并以《精华》为名印刷发行。当时有《中学文坛》、《文章世界》、《秀才文坛》等文学杂志，他们向往这些文学杂志，积极投稿并参与活动。这样的活动持续了大约三年。

晋平使用的日记本中，封面上写着“文士日记”，记录了他与田山花袋《蒲团》中出现的女弟子模特冈田美知代的文学交流。晋平使用“中山家”这个笔名，从家乡的枫树中汲取灵感，在明治38年给冈田写了一封信。信中表达了他对文学的浓厚兴趣，尽管他谦虚地表示自己可能并不适合文学，但愿意在冈田的指导下尝试写作。

在《中央公论》（昭和10年8月号）的自传中，晋平回顾了去东京前的自己，称自己是一个多愁善感的乡村教师，被蘆花的《自然与人生》、《回忆录》以及藤村的《落梅集》感动得流泪。他提到成为岛村抱月的门生的原因是因为厌倦了山里的生活，但晋平对成为一个知名文学家的学生可能也抱有期待和憧憬。

在东京音乐学校时代，当学生会的机关杂志《音乐》创刊时，晋平担任编辑，并发表了他的第一篇论文《新诗论》。在这段时间里，他还作为岛村的书生帮助编辑了第二次《早稻田文学》，日常与文学有着深入的联系。成为作曲家后，晋平能够为歌词创作，与作词家进行对话，这可能是因为他作为文学青年所打下的基础。

晋平对音乐的觉醒始于明治27年，当时他还在小学，学校收到了一台风琴。尽管当时的音乐课只是占用了体育课的一小部分时间，但这台风琴的音色深深地触动了晋平的幼小心灵。因此，他对音乐产生了浓厚的兴趣，并开始参与每年在附近新野神社举行的传统艺能仪式“式三番叟”中，担任笛子演奏者。尽管他在做杂活时吹笛子，被周围的人称为“闲散者”，但他的笛声非常美妙，感动了所有听到的人。

进一步激发晋平对音乐兴趣的是，当他在中野小学高等科三年级时，听到了来自上田（现上田市）的一个小型乐队在学校操场上的演奏。尽管乐队的规模很小，只有五六个人，乐器包括大鼓、小号、单簧管和长号，但晋平被他们华丽的服装和勇壮的音乐深深打动，他回忆说：“我完全被感动了，决心要投身于音乐事业。”

明治36年，当时16岁的晋平在家乡的柏尾尋常小学首次登上讲台，他投入了大量的精力在音乐课上。他练习风琴，采用身体语言和行进等身体表现方式，避免使用文语调的复杂歌曲，而是选择接近口语、易于理解的温柔歌曲。晋平的音乐课非常受欢迎，所有的学生在他上课时都非常安静地听课。在这段教师生涯中，晋平体会到了让孩子们享受音乐的乐趣。

到了东京后，晋平一边做文学家岛村抱月的门生，一边上音乐学校。同时，与岛村关系密切的雅乐家和作曲家东仪铁笛正在寻找门生，晋平曾一度离开岛村，成为东仪的门生。虽然时间很短，但这段时间对晋平来说是宝贵的，因为他近距离观察了作曲家的工作。这些经历加上在音乐学校的学习，逐渐塑造了晋平作为作曲家的品质。

昭和12年，晋平50岁时，战争的色彩逐渐加深。晋平并没有尝试逆时代潮流而行，而是努力创作符合军方要求的音乐。例如鼓吹伪满洲国的歌曲《请来节》。但他擅长的音乐风格与当时所要求的风格存在差距，似乎未能很好地发挥自己的能力。从这个时期开始，晋平不仅专注于作曲，还深入参与了整个日本音乐行业的工作。特别是当他担任“大日本音乐著作权协会”的理事长时，对提高行业对著作权的意识和推动其发展作出了巨大贡献。

随着战况恶化，晋平从中野区搬到了热海的别墅。这时，由于社会形势和各种原因，他几乎不再从事作曲工作，除了偶尔为了著作权协会的工作前往东京外，他将精力投入到了家附近租来的土地上，专注于园艺。

战后，晋平重新开始作曲，但似乎无法找回以前作曲的感觉，没有再创作出流行歌曲或童谣。不过，他继续接到创作校歌、社歌和新民歌的委托。有一个轶事提到，晋平在东京音乐学校毕业后，首次受雇于千束小学时，他高兴地接受了创作校歌的委托，并且拒绝了作曲费，而是接受了学校赠送的挂钟，他将其装饰在客厅里，显得非常高兴。

晋平非常注重健康，尝试了各种健康方法，但在昭和27年，由于战争期间持续的园艺爱好突然无法继续，他开始经常卧床，同年12月，他的健康状况急剧恶化，最终因胰腺炎去世。据说他去世时的面容非常安详，甚至看起来带着微笑。

大正六年，晋平与江南敏子结婚。当时，他们是一对罕见的双职工夫妇，关系非常好。然而，他们没有孩子，所以在12年时收养了一个名叫卯郎的养子。卯郎是敏子工作的赤坂中之町小学的二年级学生，他的父亲在前一年去世，留下了六个孩子。敏子辞去了工作，照顾卯郎。此后，在昭和五年，晋平还收养了他的侄女藤井梶子作为养女。家庭关系和谐，对于忙碌的作曲家晋平来说，与家人共度的时光是一段令人放松的时光。

然而，在昭和十一年，健康状况不佳的妻子敏子在45岁时去世。敏子不仅擅长家务，还学习了钢琴和管风琴，对文学也有深刻的理解。她不仅帮助晋平处理家务，还帮助他抄写乐谱，无论是在公共生活还是私人生活中都持续支持晋平。敏子去世后，晋平一度无法工作，但在她去世一周年纪念日过后，在周围人的鼓励下，他与新桥喜代三（今村タネ）再婚。喜代三是晋平在工作中认识的鹿儿岛的艺妓，当时的名字是喜代治，为了实现上京的愿望，晋平帮助她来到东京。到达东京后，她改名为喜代三，并作为一名唱片歌手，对中山家的歌曲有着深刻的了解。

喜代三在与晋平结婚后承诺不再回到演艺圈，并以中山嘉子的身份一直支持晋平，直到他去世。然而，在送走晋平之后，她决定“将中山留下的作品中适合我嗓子的部分继续发扬光大”，并作为歌手重返演艺圈。

中山晋平和众多文学人士关系密切，协力创作了许多知名歌曲。经常合作的文学家包括：诗人島村抱月、西条八十、作词家北原白秋、童谣作家野口雨情、文艺评论家相馬御風等。

中山晋平创作了一系列流行歌，如《凤尾船之歌》、《波浮之港》、《东京音头》等。这些歌曲采用了日本的音阶，具有独特的旋律，被称为“晋平节”。这种旋律风格在当时很新颖，对后来的日本音乐产生了深远的影响。

晋平在童谣作曲方面也创作了许多至今仍被传唱的歌曲，如《肥皂泡》、《兔子之舞》、《证诚寺的狸囃子》、《砂山》、《雨滴》等。

晋平认为，他的性格是继承了穿着西装、吃牛肉、能读书、能唱歌、能喝酒的父亲的性格，以及不喜欢酒、耐心和勤奋的母亲的性格，这两种性格在他身上相互竞争和冲突。晋平因为遗传了母亲的基因，不能喝酒，随着年龄的增长，自然地远离了酒桌。此外，几十年来他不喝茶、咖啡或任何含咖啡因的饮料，只喝白开水。这似乎是因为他避免摄入咖啡因，以解决睡眠不足的问题。

在饮食偏好方面，尽管住在海边，晋平却完全不喜欢鱼，他喜欢的是洋葱味噌汤、豆类等山野食物。当味噌腌菜或野泽菜的腌菜送到家时，他会像孩子一样高兴，将这些珍贵的食物展示给家人，并以此为傲。他的女儿梶子这样描述。晋平的儿子卯郎也记述了父亲的喜好。在晋平喜欢的食物中，最令人印象深刻的是乌冬面。他会在镇上买乌冬面，然后在家里煮。晋平会习惯性地嘱咐“煮到乌冬面失去其本质”，并且非常喜欢煮得软软的乌冬面。接下来是黑豆，用酱油煮得非常软，以至于嚼起来牙齿都会痛。此外，他似乎对味噌有着怀旧之情，非常喜爱它，当厌倦了其他配菜时，他会将生味噌拌在白米饭上吃。

除了食物，晋平的嗜好是吸烟。他直到晚年都非常喜欢一种叫作“朝日”的香烟，20支装。据说晋平的房间总是被烟雾笼罩。