Kann Meta AI programmieren? Ich habe es gegen Llama, Gemini und ChatGPT getestet - es war nicht einmal annähernd so gut

Ich habe meine Reihe einfacher Codierungstests gegen Meta AI geworfen. Die Ergebnisse haben gezeigt, dass es wirklich nur einen KI-Chatbot gibt, dessen Programmierzeit sich lohnt.

Wie gut schreiben KI-Tools Code? Im letzten Jahr oder so habe ich große Sprachmodelle einer Reihe von Tests unterzogen, um zu sehen, wie gut sie einige ziemlich grundlegende Programmierherausforderungen meistern.

Die Idee ist einfach: Wenn sie diese grundlegenden Herausforderungen nicht bewältigen können, lohnt es sich wahrscheinlich nicht, etwas Komplexeres von ihnen zu verlangen. Wenn sie diese grundlegenden Herausforderungen jedoch bewältigen können, könnten sie zu hilfreichen Assistenten für Programmierer werden, die Zeit sparen möchten.

Um diesen Maßstab festzulegen, habe ich drei Tests verwendet (und gerade einen vierten hinzugefügt). Sie sind:

1. Schreiben eines WordPress-Plugins:Hiermit wird die grundlegende Webentwicklung mit der Programmiersprache PHP innerhalb von WordPress getestet. Es erfordert auch ein wenig Aufbau der Benutzeroberfläche. Wenn ein KI-Chatbot diesen Test besteht, kann er als Assistent von Webentwicklern dabei helfen, rudimentären Code zu erstellen. Ich habe diesen Test ursprünglich in „Ich habe ChatGPT gebeten, ein WordPress-Plugin zu schreiben, das ich brauchte. Es hat es in weniger als 5 Minuten erledigt.“
2. Eine Zeichenfolgenfunktion umschreiben: Dieser Test bewertet, wie ein KI-Chatbot eine Dienstprogrammfunktion für eine bessere Funktionalität aktualisiert. Wenn ein KI-Chatbot diesen Test besteht, kann er möglicherweise dabei helfen, Tools für Programmierer zu erstellen. Wenn es fehlschlägt, können Programmieranfänger im ersten Jahr wahrscheinlich einen besseren Job machen. Ich habe diesen Test ursprünglich in „OK, also hat ChatGPT gerade meinen Code debuggt. Im Ernst“ dokumentiert.
3. Einen lästigen Fehler finden: Dieser Test erfordert genaue Kenntnisse über die Funktionsweise von WordPress, da die offensichtliche Antwort falsch ist. Wenn ein KI-Chatbot dies richtig beantworten kann, ist seine Wissensbasis selbst mit Frameworks wie WordPress ziemlich vollständig. Ich habe diesen Test ursprünglich in „OK, also hat ChatGPT gerade meinen Code debuggt. Im Ernst“ dokumentiert.
4. Ein Skript schreiben: Bei diesem Test wird ein KI-Chatbot aufgefordert, mit zwei ziemlich speziellen Programmiertools zu programmieren, die vielen Benutzern nicht bekannt sind. Es testet im Wesentlichen das Wissen des KI-Chatbots über die großen Sprachen hinaus. Ich habe diesen Test ursprünglich in „Google stellt Gemini Code Assist vor und ich bin vorsichtig optimistisch, dass es Programmierern helfen wird“ dokumentiert.

Ich werde Sie durch jeden Test führen und die Ergebnisse mit denen der anderen KI-Chatbots vergleichen, die ich getestet habe. Auf diese Weise können Sie besser einschätzen, wie sich KI-Chatbots in Bezug auf die Codierungsleistung unterscheiden.

Dieses Mal stelle ich Metas neue Meta-KI auf die Probe. Fangen wir an.

1. Ein WordPress-Plugin schreiben

Hier ist die von Meta AI generierte Schnittstelle auf der linken Seite im Vergleich zur von ChatGPT generierten Schnittstelle auf der rechten Seite:

Beide KI-Chatbots generierten die erforderlichen Felder, aber die Präsentation von ChatGPT war übersichtlicher und enthielt Überschriften für jedes der Felder. ChatGPT hat die Schaltfläche „Randomisieren“ angesichts der Funktionalität auch an einer passenderen Stelle platziert.

Was die Funktionsweise betrifft, hat ChatGPT erwartungsgemäß eine Reihe von Namen übernommen und zufällige Ergebnisse erzeugt. Leider hat Meta AI eine Reihe von Namen aufgenommen, etwas aufblitzen lassen und dann einen weißen Bildschirm angezeigt. Dies wird in der WordPress-Welt häufig als „Der weiße Bildschirm des Todes“ beschrieben.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Meta AI: Schnittstelle: ausreichend, Funktionalität: fehlgeschlagen
• Meta Code Lama: Vollständiger Fehler
• Google Gemini Advanced: Schnittstelle: gut, Funktionalität: fehlgeschlagen
• ChatGPT: Schnittstelle: gut, Funktionalität: gut

2. Eine String-Funktion umschreiben

Dieser Test dient zum Testen von Dollar- und Cent-Umrechnungen. Meta AI hatte vier Hauptprobleme: Sie nahm Änderungen an korrekten Werten vor, wenn dies nicht hätte der Fall sein sollen, testete nicht richtig auf Zahlen mit mehreren Dezimalstellen und schlug völlig fehl, wenn ein Dollarbetrag weniger als zwei Dezimalstellen hatte (mit anderen Worten, sie würde es tun). Fehler mit $5 oder $5,2 als Eingaben) und lehnte korrekte Zahlen ab, sobald die Verarbeitung abgeschlossen war, weil diese Zahlen falsch formatiert wurden.

Dies ist eine ziemlich einfache Aufgabe, die die meisten Informatikstudenten im ersten Studienjahr bewältigen können sollten. Es ist enttäuschend, dass Meta AI gescheitert ist, insbesondere da Metas Code Llama im gleichen Test erfolgreich war.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Meta AI: Fehlgeschlagen
• Meta-Code-Lama: Erfolgreich
• Google Gemini Advanced: Fehlgeschlagen
• ChatGPT: Erfolgreich

3. Einen lästigen Fehler finden

Dies ist keine Programmieraufgabe. Bei diesem Test werden einige bereits vorhandene Codeabschnitte zusammen mit Fehlerdaten und einer Problembeschreibung berücksichtigt. Anschließend wird der KI-Chatbot gebeten, herauszufinden, was mit dem Code nicht stimmt, und eine Lösung zu empfehlen.

Die Herausforderung besteht darin, dass es eine offensichtliche Antwort gibt, die falsch ist. Das Problem erfordert ein tiefes Wissen über die Funktionsweise der WordPress-API sowie ein Verständnis des Zusammenspiels zwischen verschiedenen Komponenten des zu schreibenden Programms.

Meta AI hat diese Prüfung mit Bravour bestanden. Es identifizierte nicht nur den Fehler richtig, sondern machte sogar einen Vorschlag, der zwar nicht notwendig war, aber die Effizienz des Codes verbesserte.

Nachdem ich beim Umschreiben einer einfachen String-Funktion so kläglich gescheitert war, hatte ich nicht damit gerechnet, dass Meta AI bei einem wesentlich anspruchsvolleren Problem erfolgreich sein würde. Dies zeigt, dass KI-Chatbots in ihren Antworten nicht unbedingt konsistent sind.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Meta AI: Erfolgreich
• Meta-Code-Lama: Fehlgeschlagen
• Google Gemini Advanced: Fehlgeschlagen
• ChatGPT: Erfolgreich

4. Ein Skript schreiben

Für diesen Test sind Programmierkenntnisse des MacOS-Skripttools Keyboard Maestro, der Skriptsprache AppleScript von Apple und des Skriptverhaltens von Chrome erforderlich.

Keyboard Maestro ist ein erstaunlich leistungsfähiges Tool (das ist einer der Gründe, warum ich Macs als meine primären Arbeitsmaschinen verwende), aber es ist auch ein ziemlich obskures Produkt, das von einem einzelnen Programmierer in Australien geschrieben wurde. Wenn ein KI-Chatbot mit diesem Tool programmieren kann, ist die Wahrscheinlichkeit groß, dass er über gute Programmierkenntnisse in allen Sprachen verfügt. AppleScript ist die MacOS-Skriptsprache von Apple, aber sie ist auch ziemlich undurchsichtig.

Sowohl Meta AI als auch Metas Code Llama scheiterten auf genau die gleiche Weise: Sie haben die Daten nicht wie angewiesen von Keyboard Maestro abgerufen. Keiner von beiden schien überhaupt etwas über das Tool zu wissen. Im Gegensatz dazu wussten sowohl Gemini als auch ChatGPT, dass es sich um ein separates Tool handelte, und konnten die Daten korrekt abrufen.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Meta AI: Fehlgeschlagen
• Meta-Code-Lama: Fehlgeschlagen
• Google Gemini Advanced: Erfolgreich
• ChatGPT: Erfolgreich

Gesamtergebnisse

Hier sind die Gesamtergebnisse der vier Tests:

• Meta AI: 1 von 4 war erfolgreich
• Meta Code Lama: 1 von 4 erfolgreich
• Google Gemini Advanced: 1 von 4 war erfolgreich
• ChatGPT: 4 von 4 waren erfolgreich

Ich nutze ChatGPT nun seit etwa sechs Monaten, um bei Codierungsprojekten zu helfen. Nichts in den Ergebnissen hier hat mich überzeugt, zu einem anderen KI-Chatbot zu wechseln. Wenn ich einen dieser KI-Chatbots verwenden würde, hätte ich tatsächlich Angst, dass ich möglicherweise mehr Zeit mit der Überprüfung und Fehlersuche verbringe, als mit der Erledigung der Arbeit.

Ich bin von den anderen großen Sprachmodellen enttäuscht. Meine Tests zeigen, dass ChatGPT zumindest im Moment immer noch der unangefochtene Codierungs-Champion ist.

Haben Sie versucht, mit Meta AI, Gemini oder ChatGPT zu programmieren? Welche Erfahrungen haben Sie gemacht? Lass es uns unten in den Kommentaren wissen.

Sie können meine täglichen Projektaktualisierungen in den sozialen Medien verfolgen. Abonnieren Sie unbedingt meinen wöchentlichen Update-Newsletter und folgen Sie mir auf Twitter/X unter @DavidGewirtz, auf Facebook unter Facebook.com/DavidGewirtz, auf Instagram unter Instagram.com/DavidGewirtz und auf YouTube unter YouTube.com/DavidGewirtzTV.