玉井旧称大武垄，是邹人“噍吧哖社”等的居住地，
明郑时期，住在大目降(今
新化区)一带的西拉雅人因受
汉人侵扰而迁居并占据此地。清
雍正年间，汉人在此建庄。
1915年，
余清芳等人在此发动抗日行动，史称“
西来庵事件”（又称
噍吧哖事件），是台湾史上规模最大、牺牲人数最多的武装抗日事件。
1920年地名大变革，日人顺势将语音艰涩的“噍吧哖”（Tapani）改为
日语音近之“玉井”（Tamai）。并设置“玉井庄”，归
台南州新化郡管辖。战后改设
台南县玉井乡至2010年12月24日，2010年12月25日因
五都改制而成玉井区。
玉井在日据时期以制糖兴盛。战后1960年代由政府推广芒果改良种，成为重要产地。在台湾，提到“玉井”差不多就是“芒果”的同义词，享有极高的声誉。不过事实上邻近各区包括楠西、左镇、南化均有芒果出产。
三条道路都相当重要，台20线南部横贯公路是当地乡民对外(向台南都市区)的交通要道，同时也是西部向东部连结的要道，而除了台20线，台84线也是条向外的重要交通要道，特别是让居住于台南东部山区居民前往北部时，可经由此道向外连结省道三号(高速公路)时极为便利，台3线向北是
楠西区与曾文水库进入
嘉义县、向南则是
南化区、
高雄市旗山区，再向南可直抵
屏东县屏东市。
战后延长左镇线糖业铁路穿越山区至玉井，1953年试办“玉善线”（玉井←→
善化）营业线。唯公路发达后难以竞争，1975年全线废止。仍可见若干遗迹。