张冰玉原籍南京,在天津长大。1937年满洲映画协会成立,大张冰玉五岁的姐姐带着她到东北应征演员,张冰玉就这样当上了满映的临时演员。抗战结束后,张冰玉在长春、北平参加剧团,演出话剧。之后她与空军军人酆宗铨结婚,并随丈夫赴台,进入国防部康乐三队。当时的台湾省电影制片厂厂长龙芳颇欣赏她,让她调进空军大鹏话剧队,并演出《恶梦初醒》、《皆大欢喜》等片。
1962年,台视推出第一部国语电视剧《欢乐家园》,找来
常枫与张冰玉主演,张冰玉也因此被誉为“台湾第一位电视剧女演员”。
1969年,张冰玉以电影《小镇春回》中坚毅的寡母一角,获得金马奖最佳女配角奖及第15届亚洲影展最佳女配角奖。1970年,张冰玉演出电视剧《清宫残梦》中的慈禧太后,大受好评,后被尊称为“永远的慈禧太后”。
1990年,张冰玉出现在杨佩佩制作的多部台视电视剧中,成为经常参演的演员之一。1987年《
还君明珠》入围1989年金钟奖最佳连续剧。1989年《
春去春又回》荣获1990金钟奖最佳连续剧、灯光技术奖。1991年在《
碧海情天》出演黄金一角。1992年饰演《
末代皇孙》中的叶赫那拉氏。其中当以1994年《
倚天屠龙记》中灭绝师太一角最令人印象深刻,将灭绝师太演绎得入木三分。
2014年12月4日,张冰玉因多重器官衰竭,在医院病逝,享年88岁,其女儿证实死讯,并透露母亲因病痛感染,加上高龄抵抗力差,所以没留遗言而撒手尘寰。预计22日于台北市立第二殡仪馆举行公祭,送张冰玉最后一程。因家属希望低调,仅会邀张冰玉的圈内好友到场。
张冰玉从影50多年,出演过上百部影视剧,被誉为“台湾第一位电视剧女演员”。94年版《倚天屠龙记》的“灭绝师太”最深入民心,当年已68岁高龄的她,以深厚的演绎功底,将灭绝师太的狠、绝演绎得淋漓尽致,是不少粉丝心目中,印象最深刻的一位。