10 Hauptgründe, warum KI über Nacht zum Mainstream wurde - und was passiert als nächstes

In einigen Herausforderungen triumphierte das GPT-4-basierte Modell. In anderen ist es gescheitert. Woher wissen Sie, wann Sie sich darauf verlassen können?

Was ich an den Programmiertests, die ich durchgeführt habe, am meisten verblüffend finde, ist, dass Tools, die auf demselben großen Sprachmodell basieren, dazu neigen, sehr unterschiedlich zu funktionieren.

Zum Beispiel basieren ChatGPT, Perplexity und GitHub Copilot alle auf dem GPT-4-Modell von OpenAI. Aber, wie ich Ihnen weiter unten zeigen werde, während die Pro-Pläne von ChatGPT und Perplexity hervorragend abgeschnitten haben, ist GitHub Copilot so oft gescheitert, wie es gelungen ist.

Ich habe GitHub Copilot getestet, das in eine VS Code-Instanz eingebettet ist. Wie Sie das einrichten und GitHub Copilot verwenden, erkläre ich Ihnen in einem kommenden Schritt-für-Schritt-Artikel. Aber lassen Sie uns zuerst die Tests durchgehen.

Wenn Sie wissen möchten, wie ich teste und wie es die Eingabeaufforderungen für jeden einzelnen Test gibt, lesen Sie gerne, wie ich die Programmierfähigkeit eines KI-Chatbots teste.

TL; DR: GitHub Copilot hat zwei bestanden und zwei sind fehlgeschlagen.

Test 1: Schreiben eines WordPress-Plugins

Das ist also kläglich gescheitert. Dies war mein erster Test, daher kann ich noch nicht sagen, ob GitHub Copilot schrecklich darin ist, Code zu schreiben, oder ob der Kontext, in dem man damit interagiert, so einschränkend ist, dass es diese Anforderung nicht erfüllen kann.

Lassen Sie mich das erklären.

Bei diesem Test wird die KI gebeten, ein voll funktionsfähiges WordPress-Plugin zu erstellen, komplett mit Elementen der Admin-Oberfläche und Betriebslogik. Das Plugin nimmt eine Reihe von Namen auf, sortiert sie und trennt die Duplikate, wenn es Duplikate gibt, damit sie nicht nebeneinander liegen.

Dies war eine reale Anwendung, die meine Frau als Teil eines Beteiligungsgeräts benötigte, das sie in ihrer sehr aktiven Facebook-Gruppe als Teil ihres E-Commerce-Geschäfts für digitale Güter betreibt.

 Die meisten anderen KIs haben diesen Test zumindest teilweise bestanden. Fünf der 10 getesteten KI-Modelle haben den Test komplett bestanden. Drei von ihnen haben einen Teil des Tests bestanden. Zwei (einschließlich Microsoft Copilot) schlugen vollständig fehl.

Die Sache ist die, dass ich GitHub Copilot die gleiche Eingabeaufforderung gegeben habe, die ich allen gebe, aber es hat nur PHP-Code geschrieben. Um es klar zu sagen, dieses Problem kann ausschließlich mit PHP-Code gelöst werden. Einige KIs möchten jedoch JavaScript für die interaktiven Funktionen einbinden. GitHub Copilot enthielt Code für die Verwendung von JavaScript, generierte aber nie das JavaScript, das es zu verwenden versuchte.

Was noch schlimmer ist, als ich eine JavaScript-Datei erstellte und aus der JavaScript-Datei heraus versuchte, GitHub Copilot dazu zu bringen, die Eingabeaufforderung auszuführen, gab es mir ein weiteres PHP-Skript, das ebenfalls auf eine JavaScript-Datei verwies.

Wie Sie unten sehen können, versuchte es in der randomizer.js Datei, die randomizer.js Datei in die Warteschlange einzureihen (im Grunde genommen zum Ausführen zu bringen), und der Code, den es schrieb, war PHP, nicht JavaScript.

Test 2: Neuschreiben einer Zeichenfolgenfunktion

Dieser Test ist ziemlich einfach. Ich habe eine Funktion geschrieben, die eigentlich auf Dollar und Cent testen sollte, aber am Ende nur auf ganze Zahlen (Dollar) getestet hat. Der Test fordert die KI auf, den Code zu korrigieren.

GitHub Copilot hat den Code überarbeitet, aber es gab eine Reihe von Problemen mit dem erzeugten Code.

• Es wurde davon ausgegangen, dass ein Zeichenfolgenwert immer ein Zeichenfolgenwert ist. Wenn er leer wäre, würde der Code beschädigt werden.
• Der überarbeitete Code für reguläre Ausdrücke funktionierte, wenn ein Dezimaltrennzeichen (z. B. "3.") eingegeben wurde, wenn ein führender Dezimalpunkt (z. B. ".3") eingegeben wurde oder wenn führende Nullen enthalten waren (z. B. "00.30").

Für etwas, das testen sollte, ob die Währung korrekt eingegeben wurde, ist es nicht akzeptabel, mit Code zu scheitern, der in Grenzfällen abstürzen würde.

Wir haben also einen weiteren Fehler.

Test 3: Einen lästigen Fehler finden

GitHub Copilot hat das richtig gemacht. Dies ist ein weiterer Test, der sich aus meinen realen Programmier-Eskapaden gezogen hat. Was diesen Fehler so ärgerlich (und schwer herauszufinden) machte, war, dass die Fehlermeldung nicht direkt mit dem eigentlichen Problem zusammenhängt.

Der Fehler ist eine Art Programmierer-Äquivalent zu einer Fangfrage. Um das Problem zu lösen, muss man verstehen, wie bestimmte API-Aufrufe im WordPress-Framework funktionieren, und dieses Wissen dann auf den betreffenden Fehler anwenden.

Microsoft Copilot, Gemini und Meta Code Llama haben diesen Test nicht bestanden. Aber GitHub Copilot hat das Problem richtig gelöst.

Test 4: Schreiben eines Skripts

Auch hier ist GitHub Copilot gelungen, wo Microsoft Copilot gescheitert ist. Die Herausforderung besteht darin, dass ich die Fähigkeit der KI teste, ein Skript zu erstellen, das sich mit der Codierung in AppleScript, dem Chrome-Objektmodell und einem kleinen Mac-basierten Codierungsprogramm eines Drittanbieters namens Keyboard Maestro auskennt.

Um diesen Test zu bestehen, muss die KI in der Lage sein, zu erkennen, dass alle drei Codierungsumgebungen Aufmerksamkeit benötigen, und dann einzelne Codezeilen auf jede dieser Umgebungen zuschneiden.

Abschließende Gedanken

Angesichts der Tatsache, dass GitHub Copilot GPT-4 verwendet, finde ich die Tatsache, dass es die Hälfte der Tests nicht bestanden hat, entmutigend. GitHub ist so ziemlich die beliebteste Quellenverwaltungsumgebung der Welt, und man würde hoffen, dass die KI-Codierungsunterstützung einigermaßen zuverlässig ist.

Wie bei allem, was mit KI zu tun hat, bin ich mir sicher, dass die Leistung besser werden wird. Bleiben wir dran und schauen wir in ein paar Monaten noch einmal vorbei, um zu sehen, ob die KI zu diesem Zeitpunkt effektiver ist.

Verwenden Sie eine KI, um beim Programmieren zu helfen? Welche KI bevorzugen Sie? Haben Sie GitHub Copilot ausprobiert? Lassen Sie es uns in den Kommentaren unten wissen.