《小兵张嘎》这部影片主要描写了抗日战争时期，生活在冀中白洋淀的小男孩张嘎与唯一的亲人奶奶相依为命。为了掩护在家养伤的八路军侦察连长钟亮，奶奶英勇地牺牲在日军的刺刀下，而钟亮也被敌人抓走了。为了替奶奶报仇、救出老钟叔，嘎子历经艰辛，找到了八路军，当上了一名小侦察员的故事。
在日本军队的一次突袭中，张嘎的奶奶为掩护八路军被打死，八路军侦察连长钟亮叔也被抓走了。嘎子悲痛欲绝，他决心报仇，毅然出发去寻找打日本鬼子的地区队伍。在路上，他误把游击队排长罗金保当作汉奸，想缴他的枪而闹出笑话。
后来，人小鬼大的嘎小子乔装打扮成卖西瓜的小贩，缴了胖翻译的手枪。为了不让队长把枪收回去，他将枪藏到了树上的鸟窝里，因而受到了批评关了禁闭。经过区队长的教育，嘎子认识了自己的错误。
在一次战斗中，他受了伤在老乡家里修养。游击队攻打敌人岗楼时，他偷偷从老乡家里跑回参战，不幸在进城侦察时被捕。在敌人面前，嘎子刚强不屈，并在战斗中逃了出来，他配合游击队拔掉岗楼，救出了钟亮。
战斗胜利了，区队长代表部队表扬了嘎子，奖励给他一支真正的小手枪。嘎子终于成了一名出色的小侦察员。
小兵张嘎，本是一个普通农家少年。目睹了奶奶救治受伤战士的过程，从小崇拜英雄，奶奶牺牲后投奔了区小队。
在区小队这个革命大家庭中，嘎子在区队长严厉管教下，配合侦察英雄罗全宝多次完成侦察任务，战斗中英勇受伤，伤好归队时为掩护群众被敌人俘获，在炮楼里机智的打死看守人员点燃炮楼，配合区小队拔掉炮楼救出钟连长，自己也真正的成长为革命战士。