Die KI-Branche hat einen Rhythmus gefunden, um den sie jede Modemarke beneidet. Alle paar Monate erscheint das intelligenteste Modell aller Zeiten, und das davor gilt über Nacht als peinlich veraltet. Wer es weiter benutzt, fühlt sich wie jemand, der 2026 mit einem Klapphandy telefoniert. Dabei telefoniert das Klapphandy einwandfrei.
In der IT gab es für diese Situation jahrzehntelang einen Satz: Never change a running system. Er galt als Weisheit der Grauhaarigen, bis die Cloud kam und alle ihn vergaßen. Bei KI-Modellen ist er aktueller denn je. Denn was du im Alltag betreibst, ist kein Benchmark. Es ist ein System. Und es läuft.
Benchmarks messen den Durchschnitt. Deine Arbeit ist keiner.
Ein neues Modell wird an standardisierten Aufgaben gemessen: Mathematik-Olympiaden, Programmierwettbewerbe, Multiple-Choice-Tests. Deine Arbeit besteht aus anderem. Ein Angebot für einen Installateur in Korneuburg. Eine heikle Mail an einen Kunden, der seit drei Monaten nicht zahlt. Die Zusammenfassung eines vierzigseitigen Bescheids. Nichts davon steht in einem Benchmark.
Und selbst wo Benchmarks recht haben, haben sie nur im Durchschnitt recht. Ein Modell, das über tausend Aufgaben hinweg besser abschneidet, kann bei zwanzig davon schlechter geworden sein. Statistiker nennen das Regression, Hersteller nennen es gar nicht. Wenn diese zwanzig Aufgaben zufällig deine Kernaufgaben sind, hast du getauscht und verloren. Der Benchmark gratuliert trotzdem.
Dazu kommt etwas, das in keiner Produktankündigung vorkommt: Modelle haben ein Verhalten. Eine Tonalität, eine bevorzugte Länge, Eigenheiten bei Formatierung und Nachfragen. Deine Prompts sind auf dieses Verhalten kalibriert, meist ohne dass du es gemerkt hast. Ein neues Modell liest dieselben Prompts und macht etwas anderes daraus. Nicht falsch. Anders. Und im laufenden Betrieb ist anders nur ein höflicheres Wort für kaputt.
Dasselbe Modell ist nicht dasselbe Modell
Es kommt noch besser: Selbst wer nicht wechselt, wechselt manchmal, ohne es zu wissen. Forscher aus Stanford und Berkeley haben 2023 dieselben Fragen im Abstand von drei Monaten an dasselbe Modell gestellt. GPT-4 erkannte im März Primzahlen mit 84 Prozent Genauigkeit, im Juni mit 51 Prozent. Gleicher Name, gleiches Abo, 33 Prozentpunkte weniger bei derselben Aufgabe. Bei anderen Aufgaben wurde das Modell im selben Zeitraum besser. Die Studie heißt trocken „How is ChatGPT's behavior changing over time?" und ist die wissenschaftliche Fassung eines Satzes, den jeder Vielnutzer kennt: Das Ding war doch letzte Woche noch anders.
Im Dezember 2023 wurde daraus Realsatire. Nutzer beschwerten sich massenhaft, GPT-4 sei „faul" geworden: unvollständige Antworten, halber Code, Arbeitsverweigerung mit freundlichen Worten. OpenAI bestätigte die Beschwerden öffentlich, erklärte aber zugleich, das Modell seit Wochen gar nicht aktualisiert zu haben. Modellverhalten sei mitunter unvorhersehbar, man arbeite an einer Korrektur. Der Hersteller selbst wusste also nicht genau, was sein Produkt gerade tat. Das ist keine Anklage, das ist die Natur dieser Technologie. Aber es ist das beste Argument gegen blindes Vertrauen in Versionsnummern. Wie sich verändertes KI-Verhalten in der Praxis auswirkt, beobachte ich laufend auch bei der KI-Suche: ChatGPT prüft Behauptungen heute strenger als vor einem Jahr.
Das GPT-5-Lehrstück
Falls das alles theoretisch klingt, hilft ein Blick in den August 2025. OpenAI veröffentlichte GPT-5, laut Eigenbeschreibung das intelligenteste, schnellste und nützlichste Modell des Hauses. Ein Echtzeit-Router sollte künftig automatisch entscheiden, welche Modellvariante antwortet. Die manuelle Modellauswahl wurde gleich mit entfernt. Die Nutzer sollten das Beste bekommen, ob sie wollten oder nicht.
Sie wollten nicht. Auf Reddit und X beklagten zahlende Kunden, das neue Modell antworte kurz, trocken und kalt. Der Aufschrei war so laut, dass OpenAI GPT-4o innerhalb kürzester Zeit wieder anbot. Sam Altman räumte ein, man habe unterschätzt, wie wichtig manchen Menschen Eigenschaften von GPT-4o waren.
Man lasse sich die Pointe auf der Zunge zergehen: Das Unternehmen mit den besten Benchmarks der Welt musste sein altes Modell binnen Tagen reaktivieren, weil die Kundschaft das bessere Modell für schlechter hielt. Besser laut Messung. Schlechter laut Alltag. Beides stimmte.
Wechselkosten stehen auf keiner Keynote-Folie
Wer beruflich mit KI arbeitet, hat mehr aufgebaut als eine Chat-Historie. Eingespielte Prompts, Vorlagen, vielleicht Automatisierungen über die API. Vor allem aber: ein Gefühl dafür, was das Werkzeug kann und wo es lügt. Dieses Gefühl ist Betriebskapital. Ein Modellwechsel setzt es auf null.
In einem Betrieb multipliziert sich das. Wenn drei Mitarbeiter ihre Vorlagen neu kalibrieren, die interne Anleitung überarbeitet wird und die abgestimmte Tonalität für Kundenmails nicht mehr stimmt, ist der Wechsel ein Projekt, kein Klick. Jeder Wechsel ist in Wahrheit ein Regressionstest, den niemand bezahlt. Wobei die gute Nachricht ist: Es hängt ohnehin weniger am perfekten Prompt als am Kontext. Aber auch Kontext ist auf ein Modellverhalten eingespielt.
Wann du trotzdem wechselst
Der Ehrlichkeit halber: Der Satz hat ein Ablaufdatum, und das liefert der Hersteller gleich mit. Im Februar 2026 hat OpenAI GPT-4o und weitere ältere Modelle aus ChatGPT entfernt. Nur noch 0,1 Prozent der Nutzer wählten es täglich aus. Ein abgeschaltetes Modell ist kein running system. Es ist gar kein System mehr. Und das gilt bei jedem Anbieter: Auch Anthropic und Google pensionieren ältere Modellversionen nach Ankündigungsfristen.
Es gibt genau drei gute Gründe für einen Wechsel. Erstens: Das alte Modell wird abgeschaltet, dann entscheidet der Kalender. Zweitens: Das neue ist bei gleicher Leistung deutlich billiger. Die Preise pro Token sind seit 2023 über die Modellgenerationen hinweg um Größenordnungen gefallen, wer viel über die API arbeitet, lässt hier irgendwann echtes Geld liegen. Drittens: Ein Test an deinen eigenen Aufgaben belegt, dass das neue wirklich besser ist. Eine Keynote ist keiner dieser drei Gründe.
So testest du an einem Nachmittag
Der Test ist keine Wissenschaft, er braucht keine Tools und kein Budget:
- Sammle 10 bis 20 echte Aufgaben aus den letzten Wochen: Mails, Angebote, Zusammenfassungen, Code. Auch die zwei, an denen dein aktuelles Modell fast gescheitert wäre. Gerade die.
- Gleiche Prompts, beide Modelle. Nichts umformulieren, nichts nachbessern. Du testest das Modell, nicht deine Geduld.
- Vergleiche blind. Ergebnisse nebeneinanderlegen, ohne zu wissen, welches von welchem Modell stammt. Der eigene Neuheits-Bonus ist sonst der größte Störfaktor im Test.
- Strichliste führen: besser, gleich, schlechter. Mehr Auswertung braucht es nicht.
- Für API-Nutzer: Modellversion immer fest anpinnen (Snapshot statt Alias), damit kein stilles Update deine Automatisierung verändert. Abschalttermine der Anbieter in den Kalender eintragen und den Test rechtzeitig davor machen.
Danach entscheidest du auf Basis deiner Daten statt auf Basis einer Bühne. Der Unterschied zur reinen Verweigerung: Du wechselst schon. Aber zu deinen Bedingungen und in deinem Kalender, nicht im Veröffentlichungskalender von San Francisco.
In eigener Sache
Ich verkaufe keine Modell-Abos und habe keine Aktien von OpenAI. Ich mache KI-Audits für Unternehmen: eine strukturierte Analyse, wie Google, ChatGPT und Perplexity eine Website wahrnehmen, ab 490 € netto. Das Prinzip ist dasselbe wie in diesem Artikel: messen statt glauben. Wer wissen will, wie das für die eigene Website aussieht, meldet sich einfach.
Fazit
Das neueste Modell ist zuverlässig das beste für genau einen Beteiligten: den, der es verkauft. Ob es das beste für dich ist, entscheidet kein Benchmark und keine Bühne, sondern dein eigenes Testset. Bis dahin gilt der älteste Satz der IT. Das System läuft. Lass es laufen.
Häufige Fragen
Soll ich immer auf das neueste ChatGPT-Modell wechseln?
Nein. Wechsle, wenn dein bewährtes Modell abgeschaltet wird, das neue deutlich billiger ist oder ein Test an deinen eigenen Aufgaben zeigt, dass es wirklich besser arbeitet. Ein Benchmark-Sieg des Herstellers ist kein Wechselgrund.
Warum verhält sich mein KI-Modell plötzlich anders, obwohl ich nichts geändert habe?
Modelle verändern sich auch unter gleichem Namen. Eine Stanford-Berkeley-Studie hat 2023 gemessen, dass GPT-4 bei identischen Aufgaben innerhalb von drei Monaten deutlich schlechter wurde, bei anderen besser. Hersteller passen Modelle laufend an, und selbst ohne Update kann sich das Verhalten verschieben. Ein eigenes Set an Testaufgaben ist die einzige verlässliche Referenz.
Woran erkenne ich, dass ein neues KI-Modell für mich schlechter ist?
Nimm zehn bis zwanzig echte Aufgaben aus deinem Alltag und lass sie von altem und neuem Modell mit denselben Prompts erledigen. Vergleiche blind: Tonalität, Genauigkeit, Nacharbeit. Was du dabei siehst, zählt mehr als jede Bewertung im Netz.
Was mache ich, wenn mein bewährtes Modell abgeschaltet wird?
Dann führt kein Weg am Wechsel vorbei, aber du bestimmst das Wie. Teste rechtzeitig vor dem Abschalttermin die Nachfolger an deinen Aufgaben und passe deine Prompts gezielt an, statt am Stichtag improvisieren zu müssen. Hersteller kündigen Abschaltungen in der Regel Monate vorher an.
Gilt das auch für Unternehmen mit API-Automatisierungen?
Erst recht. Automatisierte Abläufe sind auf ein konkretes Modellverhalten gebaut, und ein stilles Modell-Update kann Ergebnisse verändern, ohne dass es jemand bemerkt. Feste Modellversionen (Snapshots) verwenden, Wechsel als Projekt mit Testphase planen, nie ungeprüft umstellen.