灰野70年代开始以吉他手的身份进入日本的
地下音乐圈。1971年他组成了Lost Aaraaff乐队，该乐队是深受爵士音乐的影响，但其风格依然以摇滚为主。该乐队在一场反对新机场的演唱会上的作品被选入71年的一张演唱会集锦唱片中。其后灰野在公众面前消失了，他把自己监禁在其父母的房间内达三、四年之久，在此期间他潜心研究中国气功的吐纳法和 Lightnin’Hopkins与Blind Lemon Jefferson的
蓝调音乐。灰野复出后，于1978年成立他的著名乐队Fushitsusha。直到1981年，灰野才推出了他的首张Solo唱片《Watashi-Dake》（意为「
只有我」）。出版唱片后，灰野因为一场严重的疾病而被迫停止音乐工作三年之久。灰野表示在他病倒的时间里他花了大量的时间思考音乐本身，以及音乐是从何而来。他强调自71年的Lost Aaraaff开始，他的音乐在形式上是有所改变的，但所要表达的东西却一直没改变过。他所关心的是音乐的实质，而不是音乐形式。
灰野的音乐真正受到世人的注意是从90年代开始的，当时日本
迷幻音乐圈开始在东京形成。而灰野多年来的音乐成就被认为是日本
迷幻音乐的重要启蒙作品，他也成为日本迷幻音乐中核心人物之一。他的演出，个人音乐作品和他的乐队组合开始受到包括世界其它地区乐迷的注意。他的唱片，连他早期的作品也在多间日本本土和外国唱片公司出版。其中日本
迷幻音乐重要厂牌PSF率先在1991年出版了灰野的Fushitsusha乐队的双CD集《Live II》。Forced Exposure于1992年再版发行了他的首张吉他Solo作品《Watashi-Dake》，而在Table of the Elements则出版了他的另外两张重要作品∶《I Said, This is the Son of Nihilism》和《The Book of “Eternity Set Aflame”》。之后灰野在PSF和Blast First等厂牌出版了大量唱片。1997年，灰野和乐队Fushitsusha签约日本最大的主流厂牌Tokuma Japan，二年内出版八张唱片，灰野获得很大的创作自由。在此期间，Fushitsusha出版了四张唱片、三张灰野的个人Solo、和一张灰野的新三人组合Ayuhio的唱片。
1998年后，灰野不断地在不同的唱片公司出版唱片。其中包括大量Live录音唱片。众多的出版活动当中最引人注目的是灰野在著名前卫音乐家John Zorn的两间厂牌Avant和Tzadik所出版的作品。1998年灰野在这两间厂牌分别出版两张唱片，Avant出版的是他与Greg Cohen（bass）、Joey Baron（drums）合作的三重奏，风格偏向Jazz。Tzadik出版的是他与Bill Laswell（bass）、以及Free Jazz著名鼓手Rashied Ali所组成的新三重奏Purple Trap的双张唱片Decided… Already TheMotionless Heart of Tranquility, Tangling the Prayer Called “I。2001年灰野又展开了和日本另一著名Avant Rock鼓手吉田达也的合作，两人于2001年8月录制完成专辑，唱片在香港厂牌Noise Asia出版，在该专辑中灰野采用了更为丰富的吉他弹奏手法。
多年来，灰野除了个人创作、乐队组合外，还与大量乐手、组合合作过，包括∶John Zorn的Painkiller、南条麻人的超级组合Musica Transonic、还有Alan Licht、Boris、Merzbow、实验吉他手Derek Bailey和Fred Frith、Faust、Charles Hayward、贝司手Barre Phillips、Saxophone手Peter Brotzmann、吉他手Loren Mazza CaneConnors等。除此之外，他还和Kan Mikami组成临时组合Vasara–Sanskirt、吉他/小提琴临时乐队Black Stage等。
《Watashi Dake》是他的第一张专辑,意思是
只有我。（Keiji Haino ）
灰野敬二作为一个吉他手或者是他所领导的著名的乐队Fushitsu-sha，灰野已经是日本近三十年来在噪音、Free Form、
爵士、摇滚等各方面的领头人物之一，更被部分日本乐手尊为『日本音乐教父』。长长的黑发，终年戴着的黑色太阳镜，一身黑衣
摇滚乐手打扮，已经成为这位著名的日本乐手灰野敬二的标志。他曾在访问中打趣地说他的一身黑衣打扮是因为如果他穿著白色的衣服的话，会使他不能集中于他的演唱。这种习惯和他坎坷的音乐创作不无关系。
灰野的作品主要以电吉他演奏为主。他以纯熟的吉他造诣不断地创造出实验性的电吉他
声音，其突出的风格是在暴烈的吉他演奏中加入大量的回馈效果（feedback），造成如洪水爆发一般的噪音吉他独奏的效果，并且经常配上他自己如悲痛的哀号般的即兴人声
独唱。他的音乐被形容为过孤独，过分自我，以至于尽管灰野在日本本土和世界范围内的地下/实验/即兴音乐圈中都享有盛誉，但他在乐迷的心目中仍是十分神秘的人物，甚至被认为是最不适合进行合作的乐手。他自己解释∶『我的音乐来源于古代的祈祷！在祈祷中所产生的各种声响是我认为最精彩的音乐。祈祷者的现实生活并不美好，当中充满悲伤和痛苦，人们希望并祈祷一切都可以顺心如意。』在自己的乐队Fushitsusha中，灰野表现出相当的合作性，其风格有点像Bill Frisell或者是Fred Frith，但这并不是说Fushitsusha畏首畏尾，Fushitsusha的风格依然辛辣。
除了吉他，灰野还玩敲击乐器和一种叫hurdy-gurdy的乐器，这些在他的另一重要组合Nijiumu中得到充分的体现，该乐队在实验Ambient音乐中颇为独特，他们使用的电子乐器和古老的
民族乐器演奏Ambient音乐。