抗日战争时期，冀中白洋淀有个男孩叫张嘎，他聪明勇敢，绰号“嘎小子”。

在日本军队的一次突袭中，张嘎的奶奶为掩护八路军被打死，八路军侦察连长钟亮叔也被抓走了。嘎子悲痛欲绝，他决心报仇，毅然出发去寻找打日本鬼子的地区队伍。在路上，他误把游击队排长罗金保当作汉奸，想缴他的枪而闹出笑话。

后来，人小鬼大的嘎小子乔装打扮成卖西瓜的小贩，缴了胖翻译的手枪。为了不让队长把枪收回去，他将枪藏到了树上的鸟窝里，因而受到了批评关了禁闭。经过区队长的教育，嘎子认识了自己的错误。

在一次战斗中，他受了伤在老乡家里修养。游击队攻打敌人岗楼时，他偷偷从老乡家里跑回参战，不幸在进城侦察时被捕。在敌人面前，嘎子刚强不屈，并在战斗中逃了出来，他配合游击队拔掉岗楼，救出了钟亮。

战斗胜利了，区队长代表部队表扬了嘎子，奖励给他一支真正的小手枪。嘎子终于成了一名出色的小侦察员。