抗日战争时期的河北白洋淀，调皮莽撞的少年张嘎（
安吉斯饰）目睹奶奶为掩护八路军撤退被日寇杀害后，只身来到县城找游击队排长罗金宝（
张莹饰），好让他帮忙为奶奶报仇，哪想真遇见罗金宝时，他将对方当作了汉奸，闹了笑话。误会解除后，张嘎梦想成为一名小八路，并想拥有一把枪，结果因为太想得到枪，他不但在和胖墩（吴克勤饰）打赌时耍赖，还违反纪律将某次战斗中收缴到的真枪偷偷藏在了树上的鸟窝里，再闹笑话。
张嘎可没将笑话当笑话看，想不通的他约上胖墩又来到县城，要自个替奶奶报仇。在县城，张嘎遇到鬼子龟田（
葛存壮饰）和胖翻译（
王澍饰），一番斗智斗勇，两人没从张嘎身上捞得什么好处。一系列事情经历后，张嘎由鲁莽捣蛋的少年成长为真正的八路军小侦察员。
1958年，徐光耀用不到三个月的时间，同时创作出《小兵张嘎》的小说与剧本。北京电影制片厂决定将其搬上银幕。徐光耀把改好的剧本交给了崔嵬，崔嵬却没看剧本，便出国访问了。而北影厂的另外一位导演欧阳红樱看了《小兵张嘎》的小说之后，决定筹拍《小兵张嘎》。徐光耀告诉欧阳红樱，电影剧本已经送给崔嵬导演了。欧阳红缨在崔嵬处找到剧本后，两人都想执导影片，最后两个导演决定合作拍摄该片。
该片的影调在明快之中带有刚健之气，给人一种鲜明、坚实、浑厚、纯朴的感觉。该片对光的处理总是根据人物的思想感情，一切光影的安排首先是以人物为主，突出环境气氛也是为了烘托人物的感情，做到了情景交融，环境与人物相呼应。影片的构图精致、简炼，尽量防止和隐蔽一些繁琐的线条，力求人物和主要线条的突出。画面里的基本线条是雄伟有力的斜线，人物近景尽可能拍摄侧面或半侧面的角度，增加了嘎子敢于斗争的动势，构图的支点也是偏向一方的动势支点，给人感到前进的动态，唤起奋勇前进的力量（人民网评）。
该片的不足之处是后一部分对剧本作出很大的改动后，张嘎被俘、审问到囚禁、烧炮楼这些片段经不起推敲。看守张嘎的伪军被设定成一个十足的大草包，对嘎子倒油放火竟毫无觉察。火势蔓延后，岗楼上的众多敌人拿这样一个孩子没半点办法，这样的敌人未免太愚蠢了。这些不真实的桥段使影片留下了许多遗憾（《中国电影名片鉴赏辞典》评）。