Jean, un déserteur, arrive au Havre dans l'espoir de monter sur un bateau et quitter la France. Dans le bar du débonnaire Panama, il rencontre Quart Vittel un alcoolique philosophe, un peintre qui «peint les choses derrière les choses» et la jeune Nelly, orpheline qui se cache de son tuteur, l'infâme Zabel. Ce dernier est harcelé par une bande de voyous menée par leur petit chef, Lucien. Bouleversé par Nelly, Jean s'interpose entre elle et Lucien, puis indispose Zabel de sa présence : il se fait, sans le vouloir, des ennemis qui ne le laisseront pas en paix.