Das Ranking für die ahgz Nacht der Sterne (2020)

Erstmals wurden die „ahgz Nacht der Sterne Awards“ vergeben. 150 Deutsche Sterneköche, 50 Österreichische Haubenköche, 50 Schweizer Spitzenköche und 20 herausragende Südtiroler Köche wurden ausgezeichnet. Auf der Grundlage der Auswertung der wichtigsten Gastronomieführer wurde nach der Methodik der Rangbildung nach Mittelwert ausgewertet, welches die besten Köche des Landes sind. Die angewandte statistische Methodik ist durch die Normalisierung der Rangbildung sehr neutral und wenig tendenziell. Die Auswertung der Werte erfolgte durch den Diplom-Soziologen Thomas Halamuda. Die Spannung war groß als es hieß: „Vorhang auf, die Nacht der Sterne Awards gehen an…“

https://www.nacht-der-sterne.de/

Aufgabenstellung

Ein unvergleichlicher Abend und eine wunderbare Preisverleihung fand am 17. Februar 2020 im Mercedes-Benz-Museum in Stuttgart statt. Hierfür sollte im Vorfeld eine neue Methode für ein Gesamtranking über aller Gastroführer erstellt werden, dass folgenden Kriterien genügt:

1. Die subjektive Bewertung jedes Restaurantführer soll erhalten bleiben, potenzielle Verzerrungen durch das gewählte Skalenniveau jedes Gastroführers, wie Sterne, Pfannen oder Punkte, hingegen minimiert werden.
2. Um die besondere Stellung des Guide Michelin zu honorieren, ist ein Stern die Grundvoraussetzung für eine Listung im Ranking, darüber hinaus findet keine „Gewichtung“ in irgendeiner Form zwischen den Restaurantführer statt.
3. Nicht alle Restaurants wurden von allen Gastroführer bewertet, fehlende Bewertungen sollen sich daher nicht negativ auf das Ranking auswirken.
4. Die Methode soll transparent und möglichst einfach nachvollziehbar sein.
5. Das Ranking ist für Deutschland, Österreich, Schweiz und Südtirol auch in Folgejahren reproduzierbar.

Befund

Schauen wir uns exemplarisch die Verteilungen der Restaurantführer in Deutschland an. In der Auswertung werden alle 299 Restaurants mit einem Michelin-Stern betrachtet.

Überspitzt formuliert gleicht der Michelin auf der Verteilungsebene einem Feudalsystem: Die Königsfamilie besteht aus einem knappen Dutzend Restaurants. Es folgt der noch überschaubare Hochadel und demgegenüber steht die große Masse an niederem Adel mit einem Stern. Der Gault & Millau verfolgt eine andere Philosophie und bewertet viele Restaurants zwischen 15 und 17 Punkten, sodass sich schon fast eine Glockenverteilung abbildet.  Der Feinschmecker, Schlemmer-Atlas und Gusto folgen wiederum einer ähnlichen „Treppenfunktion“, wie der Guide Michelin, nur weitaus milder und granularer.

Der Guide-Michelin unterscheidet sich methodisch aufgrund seiner nur drei vorkommenden Ausprägungen als Ordinalskala grundlegend von allen anderen Restaurantführer, die als „de-facto“ metrisch eingeschätzt werden können. Ähnlich wie bei der Temperaturskala handelt es sich aber auch dort nicht um Verhältnisskalen, sprich ein Restaurant mit 2 Pfannen ist nicht exakt „doppelt so gut“ wie ein Restaurant mit vier Sternen.

Aus methodischer Sicht ist es also sinnvoll, die jeweiligen Rankings als Ordinalskalen zu betrachten: lediglich die Position im jeweiligen Ranking ist von Bedeutung und nicht die Anzahl an Punkten oder Pfannen. Dies ist ein Kernelement des Gesamtrankings, denn ganz ehrlich: Werden nicht mit jedem Punkt und jedem Stern die Anforderungen überproportional höher? Ist der Aufstieg von 18 auf 19 Gault-Millau Punkten nicht deutlich höher als von 15 auf 16?  Und sind 17 Punkte vergleichbar mit 2 Sternen oder 8 Pfannen?  Diese Diskussionen führen in die Irre.

Am Ende dreht sich bei Restaurantführern alles um das Ranking, die Positionierung zum Wettbewerb.

Auch in der Fußball-Bundesliga zählt am Ende der Saison nicht der Abstand, sondern die Position in der Tabelle, um die Meisterschaft für sich zu reklamieren oder an der Champions-League teilzunehmen. In unserem Fall spielt jeder Koch, ob er will oder nicht, gleich bei mehreren „Restaurantführer“-Meisterschaften mit!

Das Verfahren

Schritt 1: Sterne, Punkte, Pfannen etc. werden in Ränge überführt. Bei geteilten Plätzen wird der Mittelwert verwendet.

Schritt 2: Im Anschluss wird der Mittelwert über die Platzierungen in allen Restaurantführer gebildet und in ein Gesamtranking überführt.

Das war’s.

Methodisches Urteil

Beim Erarbeiten des Rankings wurden diverse Alternativen zum oben beschriebenen Ranking entwickelt und anhand der Ziele abgeglichen. Das Verfahren – kurz MeanRank genannt – hat sich methodisch und inhaltlich als besonders zuverlässig erwiesen. Andere Verfahren, die getestet wurden, sollen hier kurz vorgestellt werden:

1. SimpleScale: Alle Führer können maximal 100 Punkte zum Ranking beisteuern. Die Niveaus werden entsprechend Ihrer maximalen empirischen Werte hochskaliert, im Anschluss wird ein Mittelwert über alle Restaurantführer gebildet.
2. NormScale: Wie oben, nur das zuvor alle Werte zwischen 0 und 1 normalisiert werden.
3. MinRank: Bei geteilten Plätzen wir der beste Rang verwendet, ähnlich wie bei der Leichtathletik bei Punktgleichheit: Liegen drei Personen auf Platz 3 erhält jeder den dritten Platz.
4. MeanRank: Bei geteilten Plätzen wir der mittlere Rang verwendet. Liegen drei Personen auf Platz 3 erhält jeder den vierten Platz.

Bewertet wurden alle Verfahren anhand von Inter-Rater-Reliability Kennziffern. Eine erste Anlaufstelle für den interessierten Leser findet sich auf Wikipedia unter dem Begriff „Urteilerübereinstimmung“.

In IRR-Analysen wird vereinfach gesagt, bewertet, ob verschiedene “Judges” (hier: Restaurantführer), die „Probanden“ (hier: Restaurants) in den Dimensionen Konsistenz und Niveau gleichbewerten.

Konsistenz: Werden die Restaurants bzgl. ihrer Rangordnung gleich bewertet?
Niveau / Agreement: Werden die Restaurants in der Höhe Ihrer Punktzahl gleich bewertet, stimmt also das absolute Niveau überein?

Der Fokus in dieser Analyse liegt hierbei eindeutig auf dem “Niveau”: Durch die unterschiedliche Messniveaus soll es keine Benachteiligung der Restaurants und Restaurantführer geben. Die Subjektivität eines jeden „Judges“, ist hier gewünscht.

Die folgende Tabelle zeigt Konsistenz und das Niveau je angewandtem Verfahren: Je höher der Wert zu 1 umso größer die Konsistenz bzw. das Niveau zwischen den Restaurantführern.
(Einstellungen: “Two-Way”, “average”).