Mit deinem Prompt die besten Ergebnisse erzielen
Niemand weiß, welches KI-Modell auf deinen Prompt das beste Ergebnis liefert, bevor du die Modelle vergleichst
Aktuelle Ranglisten zur Leistung von LLMs, wie lmsys.org oder livebench.ai, schätzen die Wahrscheinlichkeit, dass ein Modell ein anderes in bestimmten Kategorien übertrifft. Bemerkenswert ist, dass das bestplatzierte LLM nur mit etwas mehr als 50 % Wahrscheinlichkeit besser abschneidet als das zweitplatzierte.
Selbst bei ausgefeilten Algorithmen, die Rankings für bestimmte Kategorien berücksichtigen (z. B. Reasoning, Programmierung, Schreiben, Sprachen usw.), sind die Leistungsunterschiede nicht signifikant.
Deshalb ist es am besten, den Prompt erneut einzugeben und die Modelle zu vergleichen:
- Gib deinen Prompt einem zweiten LLM, um eine KI-Aussage zu überprüfen.
- Lass dir Vorschläge von mehreren KIs machen, damit du das beste Ergebnis auswählen kannst.
Empirische Daten von Mammouth
Daten zur erneuten Abfrage bei Mammouth AI
| Anzahl der für Prompts verwendeten Textmodelle | Anteil aller Prompts |
|---|---|
| > = 4 | 7% |
| >= 3 | 12% |
| >= 2 | 34% |
| = 1 | 66% |
| Anzahl der für Prompts verwendeten Bildmodelle | Anteil aller Prompts |
|---|---|
| >= 3 | 19% |
| >= 2 | 41% |
| = 1 | 59% |
Bei 66 % der täglichen Textanfragen wird ein Modell verwendet
- Bei 66 % der Anfragen ist keine erneute Abfrage nötig (basierend auf Daten von Mammouth.ai).
Bei 34 % der täglichen Textanfragen wird mehr als ein Modell verwendet
- Daher profitieren 34 % aller Anfragen von einer erneuten Abfrage. Diese 34 % entsprechen den besonders wichtigen Anfragen. Sie sind kreativer und komplexer.
- 24 % aller Prompts werden genau einem weiteren Modell vorgelegt.
- 12 % aller Prompts werden zwei oder mehr weiteren Modellen vorgelegt.
- 7 % aller Prompts werden mehr als drei weiteren Modellen vorgelegt.
Bei der Bildgenerierung ist die erneute Abfrage noch beliebter
- 41 % der Bildanfragen werden mindestens einem weiteren Modell vorgelegt.
- 19 % dieser Anfragen werden mehr als zwei weiteren Modellen vorgelegt.
Je leistungsfähiger KI-Modelle werden, desto subjektiver und weniger objektiv wird die Definition des besten Ergebnisses
Es gibt zwei Gründe, das Ergebnis eines Modells dem eines anderen vorzuziehen:
- Der objektive Grund: Du bevorzugst das Modell, das die Regeln deines Prompts befolgt und die richtige Antwort liefert.
- Der subjektive Grund: Wenn beide KIs objektiv richtige Antworten geben, kannst du aus subjektiven Gründen ein Modell bevorzugen.
—> Je leistungsfähiger KI wird, desto mehr verlagert sich die Unterscheidung vom Objektiven zum Subjektiven. Dadurch wird eine erneute Abfrage noch relevanter. Hier findest du den LLM Popularity Index.