Website-Suche

Welcher KI-Agent ist der beste? Diese neue Bestenliste kann Ihnen sagen

Galileo AI hat gerade eine Agenten-Bestenliste auf Hugging Face veröffentlicht, und der Gewinner wird Sie vielleicht überraschen.

Was ist besser als ein KI-Chatbot, der Aufgaben für Sie erledigen kann, wenn Sie dazu aufgefordert werden? KI, die selbstständig Aufgaben für Sie erledigen kann.

KI-Agenten sind die neueste Grenze im KI-Bereich. KI-Unternehmen liefern sich ein Wettrennen um die Entwicklung ihrer eigenen Modelle, und die Angebote werden ständig für Unternehmen eingeführt. Aber welcher KI-Agent ist der beste?

Galileo-Rangliste

Am Mittwoch startete Galileo eine Agenten-Bestenliste auf Hugging Face, einer Open-Source-KI-Plattform, auf der Benutzer KI-Modelle erstellen, trainieren, abrufen und bereitstellen können. Die Rangliste soll den Menschen helfen, zu lernen, wie KI-Agenten in realen Geschäftsanwendungen abschneiden, und Teams dabei helfen, herauszufinden, welcher Agent am besten zu ihren Anforderungen passt.

Die Rangliste enthält derzeit "die 17 führenden LLMs", darunter Modelle von Google, OpenAI, Mistral, Anthropic und Meta. Es wird monatlich aktualisiert, um mit den laufenden Veröffentlichungen Schritt zu halten, die häufig auftreten.

Wie Modelle eingestuft werden

Um die Ergebnisse zu ermitteln, verwendet Galileo Benchmarking-Datensätze, darunter BFCL (Berkeley Function Calling Leaderboard), τ-bench (Tau-Benchmark), XLAM und ToolACE, die verschiedene Agentenfähigkeiten testen. Die Bestenlisten verwandeln diese Daten dann in einen Bewertungsrahmen, der reale Anwendungsfälle abdeckt.

"BFCL zeichnet sich durch akademische Bereiche wie Mathematik, Unterhaltung und Bildung aus, τ-bench ist auf Einzelhandels- und Airline-Szenarien spezialisiert, xLAM deckt die Datengenerierung in 21 Bereichen ab und ToolACE konzentriert sich auf API-Interaktionen in 390 Bereichen", erklärt das Unternehmen in einem Blogbeitrag.

Galileo fügt hinzu, dass jedes Modell einem Stresstest unterzogen wird, um alles zu messen, von einfachen API-Aufrufen bis hin zu komplexeren Aufgaben wie Multi-Tool-Interaktionen. Das Unternehmen teilte auch seine Methodik mit und versicherte den Nutzern, dass es eine standardisierte Methodik verwendet, um alle KI-Agenten fair zu bewerten. Der Beitrag enthält einen eher technischen Einblick in das Modell-Ranking.

Die Ranglisten

Googles Gemini-2.0-Flash liegt an erster Stelle, dicht gefolgt von GPT-4o von OpenAI. Beide Modelle erhielten den von Galileo so genannten "Elite Tier Performance"-Status, der an Modelle mit einer Punktzahl von .9 oder höher vergeben wird. Google und OpenAI dominierten mit ihren privaten Modellen die Rangliste und belegten die ersten sechs Plätze.

Googles Gemini 2.0 war in allen Bewertungskategorien konsistent und balancierte eine beeindruckende Konsistenzleistung in allen Kategorien mit Kosteneffizienz aus, so der Beitrag, bei einem Preis von 0,15 $/0,6 $pro Million Token. Obwohl GPT-4o knapp an zweiter Stelle lag, hat es mit 2,5 $/10 $pro Million Token einen viel höheren Preis.

Im "High-Performance-Segment", der Kategorie unterhalb der Elitestufe, belegte Gemini-1.5-Flash den dritten und Gemini-1.5-Pro den vierten Platz. Die Denkmodelle von OpenAI, o1 und o3-mini, folgten auf den Plätzen fünf und sechs.

Mistral-small-2501 war das erste Open-Source-KI-Modell, das kartografiert wurde. Mit einer Punktzahl von .832 ordnete es sich in die Kategorie "Mid-Tier-Fähigkeiten" ein. Die Evaluierungen fanden seine Stärken in der starken Handhabung langer Kontexte und in der Werkzeugauswahl.

So greifen Sie zu

Um die Ergebnisse einzusehen, können Sie die Agenten-Bestenliste auf Hugging Face besuchen. Zusätzlich zur Standard-Bestenliste können Sie die Bestenliste danach filtern, ob das LLM Open Source oder privat ist. und nach Kategorie, die sich auf die zu testende Funktion bezieht (insgesamt, langer Kontext, zusammengesetzt usw.).