第二乐章，稍慢板，如歌的。这个简单而优美的乐章是所有弦乐四重奏里最受欢迎的乐章之一，而“皇帝”这个名字也是因这个乐章而得来的。在这里，海顿采用了他的另一首作品《上帝保佑弗朗茨皇帝》的旋律作为乐章的主题。实际上，这个乐章就是由这个主题加上四段变奏所组成的，但是海顿并没有一味的简单重复。而它的主题又是如此的优美，现在的德国国歌也是采用了这段旋律。在主题呈示过后，第一小提琴转而奏出天真纯朴的伴奏音型，主题则由第二小提琴呈现，而中提琴和大提琴则在一旁休息。因此，第一段变奏实际上变成了一段小提琴二重奏。在第二段变奏里，中提琴和大提琴再次加入。这次主题由大提琴呈现，而其他乐器也开始合奏，音乐变得更加饱满起来。当大提琴拾起主题的时候，第三段变奏开始了。经过所有乐器的轮番呈现，这时我们应该对主题旋律已经相当熟悉。在第四段变奏里，主题回到了第一小提琴上。音乐开始萦绕起一种感伤和怀旧的情绪，这将是我们最后一次听到这段优美的旋律了，而别具匠心的尾声处理更是平添了一种告别的意味。耐人寻味的是，海顿对主题和变奏的处理方式颇具象征意义。四段变奏的旋律与主题都基本相同，而每段变奏的伴奏却是变化多端。这其中的深厚意味在于——海顿的理想是为他的祖国及皇帝创作一首希望之歌——不管世事如何变迁，祖国都将永恒不变。