Il est le fils d'un commerçant de Leipzig. Après des cours de théâtre dans cette ville, il fait ses débuts en 1926 au théâtre de Beuthen. Puis il va à Zurich, Dortmund et Nuremberg. Au début des années 1930, il arrive à Berlin où il joue dans de nombreux théâtres et commence la mise en scène en 1937.
Après la guerre, il fonde à Munich Die Schaubude qui devient le plus célèbre cabaret d'Allemagne de l'après-guerre. Mais après la réforme monétaire en 1948, le lieu ferme ses portes l'année suivante. Dès lors, il travaille principalement pour rembourser les dettes au cinéma et à la télévision comme acteur et réalisateur. Son premier film en 1950 est l'adaptation de la pièce de Ludwig Ganghofer, Der Geigenmacher von Mittenwald(de).
Il conserve sa popularité avec la série de films comiques Die Lümmel von der ersten Bank(de). Dans de nombreux petits rôles des années 1960 aux années 1980, dans des films ou des séries télévisées, il interprète un rôle de « petit vieux » comique. Cependant il apparaît dans les films de Wim Wenders, Au fil du temps et L'Ami américain. Il joue de moins en moins à partir du milieu des années 1980 en raison de son état de santé. Il joue une dernière fois dans Das schreckliche Mädchen de Michael Verhoeven qui sort après sa mort.
Rudolf Schündler s'est marié quatre fois dont avec Christine Laszar.