Auf Initiative von Mitgliedern des Theaters der Jungen Welt wurde das Kabarett am 22. März 1954 gegründet. Noch im selben Jahr wurde es als „Politisch-satirisches Kabarett der Stadt Leipzig“ zur städtischen Einrichtung gemacht. Die Namensähnlichkeit mit dem ehemaligen Exilkabarett „Die Pfeffermühle“ war zufällig. Erste Probleme mit der SED gab es 1956 nach dem Ungarnaufstand durch das Programm „Rührt Euch“, für das auch Erich Loest Texte beigesteuert hatte.
1966 erhielt die Leipziger Pfeffermühle den Kunstpreis der Stadt. Als Aushängeschild der Messestadt Leipzig konnte sich das Kabarett verhältnismäßig viele politisch zweideutige Anspielungen erlauben. Allerdings waren die Möglichkeiten eingeschränkt durch vorherige Programmabnahme und genehmigungspflichtige Improvisation. Wegen des kleinen Raums konnten nur höchstens 180 Zuschauer einer Aufführung beiwohnen, Fernsehübertragungen fanden seit 1964 nicht statt, zuweilen jedoch Rundfunkübertragungen.
Ihren ersten Auftritt in der Bundesrepublik Deutschland hatte die Pfeffermühle 1983 in Saarbrücken auf Initiative des Oberbürgermeisters und späteren saarländischen Ministerpräsidenten Oskar Lafontaine mit Einverständnis von Erich Honecker. Im gleichen Jahr fanden auch die ersten Gastspiele in Österreich statt. Ab Anfang 1989 gastierte die „Pfeffermühle“ in zahlreichen bedeutenden Theatern und Kabarettspielstätten der Bundesrepublik und war bis zum Fall der Mauer mit einem Teil des Ensembles fast ununterbrochen auf Tournee in der BRD und in Westberlin. 2004 feierte die Pfeffermühle ihr 50-jähriges Bestehen. Der jetzige Leiter der Pfeffermühle ist Dieter Richter.