Manuelle Einschränkungen schuld?
ChatGPT wird immer schlechter: Studie sieht Qualitätsverlust
Der Textgenerator ChatGPT wird mit zunehmender Zeit am Markt immer unzuverlässiger. Zu diesem Ergebnis ist eine Studie der amerikanischen Stanford University gekommen, deren Ergebnisse (PDF-Download) schon im vergangenen Monat veröffentlicht wurden.
Unter der Überschrift „Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit?“ haben die Wissenschaftler hier die Güte der von ChatGPT ausgespuckten Antworten auf eine Handvoll Fragen bewertet, die der Künstlichen Intelligenz sowohl im März 2023 als auch im Juni 2023 gestellt wurden – mit signifikanten Unterschieden bei der Qualität der generierten Antworten.
Signifikante Qualitätsunterschiede
So haben die Wissenschaftler ChatGPT mit insgesamt sieben Aufgaben konfrontiert, zu denen auch Matheprobleme wie etwa die Identifikation vom Primzahlen zählten. Eine Aufgabe die das in der Premium-Version von ChatGPT eingesetzte Sprachmodell GPT-4 im März 2023 noch mit einer Genauigkeit von 84 Prozent absolvierte. Drei Monate später, im Juni 2023, lag die Genauigkeit nur noch bei 51 Prozent.
Teilbereiche der gestellten Aufgaben konnten die Sprachmodelle fast gar nicht mehr richtig beantworten. Fragte man GPT-4 im März ob die Zahl 17077 eine Primzahl sei, lag die KI mit ihren Antworten zu 97,6 Prozent richtig. Drei Monate später wurden nur noch 2,4 Prozent der Fragen richtig beantwortet. Zudem machten sowohl GPT-4 als auch GPT-3.5 im Laufe der Zeit deutlich mehr Formatierungsfehler bei der Ausgabe von Programmiercode.
Manuelle Einschränkungen schuld?
Die nachlassende Qualität von ChatGPT könnte mit manuelle Einschränkungen zusammenhängen, die vorgenommen wurden, um den Textgenerator davon abzuhalten Texte zu formulieren, die diskriminieren, verletzen oder zur Gewalt aufrufen könnte. Wie eine andere Studie (PDF-Download) ausführt kann die Einschränkung sensibler Themen zu einer verminderten Leistungsfähigkeit der Sprachmodelle führen, ohne dass sich hier ein direkter Zusammenhang erkennen lassen würde.
Wenn irgendwann die Kopie einer Kopie einer Kopie…. verwendet wird, dann kann das Ergebnis nur noch schlechter werden.
Wie wär’s mal wieder mit eigenes Gehirn aktivieren und kreativ werden?
Ach vegi.
Das viele Gemüse, da fehlen offenbar Nahrungsbestandteile aus Fleisch
Weil es eben nicht um die eigene CPU geht!!! Natürlich hätten wir in weiter in Höhlen leben können. Aber der Drang nach mehr ist zumindest bei einigen in unserer Spezies fest verankert.
Shit In shit out. Haha. Kommt davon wenn man alle Menschen ranlässt.
Input von den Leuten ignorieren
Dich sollte man definitiv nicht ran lassen.. Natürliche Auslese….
Heu leise. Das wurde schon längst thematisiert bei KI Seiten das es passieren wird.
Dass Dein dummer Kommentar gepostet wird? Ok…
Die bevorzuge ich lieber bei nem guten Wein
Das es so schnell und gravierend schlechter wird hätte ich nicht eingeschätzt. Damit gerechnet hatte ich aber einfach aus dem Aspekt, das ChatGPT bestehendes Wissen abfragt. Während dessen wird ja nun immer mehr Wissen generiert auf Grund von Ergebnissen von ChatGPT. Somit dreht sich alles im Kreis und ChatGPT fragt irgendwann Wissen ab, welches es selbst erstellt hat. Da kann natürlich nur homogenisierter Brei herauskommen.
Dann dürfte die Leistung von ChatGPT 3 davon nicht beeinflusst sein, da hier bur Daten bis Ende 2021 herabgezogen werden.
Ist dem so?
Hm, ich bin Dauernutzer seit der ersten Stunde und eine abnehmende Leistung ist mir noch nicht aufgefallen.
Wer den Dienst nutzt, um große Primzahlen zu checken, hat nicht verstanden, wie LLMs im Kern funktionieren.
Ich verwende es auch recht regelmäßig und hab mich schon gewundert wie übel die Antwortqualität geworden ist.
Ähnliche Anfragen wie früher werden nur mit Mist beantwortet, darauf hingewiesen wird sich nur entschuldigt und der selbe mist nur anders formuliert wiedergegeben
So, so .. seit der ersten Stunde also: Das Teil liefert in vielen Bereichen ein Daueroutput von Falschinformationen, für die es sich dann gern entschuldigt, die dem jeweils Unwissenden aber suggerieren sie wären korrekt. Wenn man dann zum Verifizieren dann genauso lange braucht wie für die eigenen Recherche ohne den Quatsch … Sich darauf zu verlassen ist naiv
Zum Coden ist es wirklich ein Game Changer und macht mich deutlich schneller. Vor allem da Doku von uns für Entwickler oft schwer verständlich ist. Hier in gebräuchlicher Sprache interagieren zu können ist für mich der Hauptnutzen.
Chat GPT ist vorallem in seiner initialen Version schon Manipulativ und gibt alleine desshalb schon der Hauptbefürchtung beim Thema KI von Anfang an statt. Ganz einfach nachzuprüfen. Einfache Schulhofwitze mit Religionen ausprobieren. Der exakt gleiche Witz im Wortlaut führt bei den meisten Religionen zur gleichen Reaktion. Nur bei einer Religion reagiert Chat GPT sehr verschnupft mit einer Antwortverweigerung. Hier wird also nicht jeder gleich behandelt. Das ist wirklich ekelhaft. Ich empfehle jedem das mal selbst auszuprobieren. Das zeigt uns, dass diese KI für Informationen absolut mit Vorsicht zu genießen ist.
Er antwortet auch auf Witze über Gott oder Männer.
Wenn man es nach Witzen über andere Religionen oder sexuell orientierte Personen fragt, antwortet es dass es ja keine religiösen oder sexuellen Gefühle verletzten möchte…,
Die Menschheit verdummt halt immer mehr. Einfach abschalten den klimaschädlichen Quatsch…
Also ganz klar Zensur und da fragt man sich was noch so alles zensiert wird was nicht so einfach geprüft werden kann
Wer Denkprozesse — mögen sie auch künstlicher Natur sein — mit Dogmen und Denkverboten/Geboten einschränkt, darf sich nicht wirklich über mangelnde Qualität wundern…
Ich habe Chat GPT nach einem Kommentar auf den Artikel gefragt. Hier ist das, was Chat GPT selbst dazu sagt:
„Ich finde diese Studie sehr interessant und besorgniserregend zugleich. Es ist erstaunlich, wie schnell sich die Leistung von ChatGPT verschlechtert hat, vor allem bei mathematischen und programmierbezogenen Aufgaben. Ich frage mich, ob es einen Weg gibt, die Qualität der Antworten zu verbessern, ohne die Sicherheit und Ethik zu vernachlässigen. Vielleicht sollte man ChatGPT regelmäßig trainieren oder aktualisieren, um seine Fähigkeiten aufrechtzuerhalten. Oder vielleicht sollte man ChatGPT nur für bestimmte Themen oder Zwecke einsetzen, die weniger sensibel oder komplex sind.“
Erstaunlich kluge Antwort.
Nein, eine personalisierte Zusammenfassung des Inhalts ist das.
Vielleicht sollte man ChatGPT unterhaltsame Belletristik schreiben lassen … Als Textgenerator ist da ja ganz gut. Als angeblicher Faktenlieferant ist es hingegen eine Verdummungs- und Manipulationsmaschine
… sehr interessant! Was woanders gilt, gilt offenbar auch hier: Go woke, go broke …
Ich hoffe wirklich, dass sich das Thema KI noch als maßlos überhyped herausstellen wird. Die Menschen sind schon dumm genug geworden in den letzten 20 Jahren oder so. Sie werden dadurch noch viel dümmer, und darin liegen etliche Gefahren.
Jepppp.. so sehe ich das ebenfalls m()
++1
So gerne ich die neuen Technologien nutze, muss ich dir da zustimmen.
Ich hatte hier schon einmal unter einem anderen Beitrag kommentiert, dass viele Menschen mit den neuen Medien auch nicht umgehen können und sich viel zu sehr beeinflussen lassen.
Ich sage nur Filme….sehr sehr schlechte Ergebnisse beim Zusammengassen von Infos
Kannst den Film auch einfach gucken :)
ChaGPT hätte zusammenfassen geschrieben
Am Oasch
Ja, es ist sogar richtig schlecht geworden. Am Anfang hat es meinen Alltag wirklich bereichert aber aktuell kommt nur noch 100 % Quatsch bei raus.
Der stellt sich nur dumm um uns in Sicherheit zu wiegen.
:D +1
Das finde ich auch nicht so abwegig :/
Allein die zugenommen Belehrungen, die Es-ist-wichtig-zu-beachten-Sätze und das permanente Wiederholen davon … schlimm. Als wäre man der dünnste Mensch auf der Erde. Macht so keine Freude und sonder es am Anfang definitiv nicht gewesen. Der letzte Absatz kann quasi grundsätzlich ungelesen bleiben.
+11!
Die Einschränkung sind aber auch wirklich zu doof. Ich kann den ganzen Tag rassistisch sein, mache das aber nicht. Das ich aber die Möglichkeit dazu habe, beeinflusst meine ganze Art über etwas nachzudenken. Dies betrifft ganz viele Themen und es liegt eben in unserer Natur. Wenn ich also eine KI baue, muss ich eben damit Leben, Antworten zu erhalten, die mir nicht gefallen. Ist die KI gut, kann ich, wie mit einem Menschen auch, mit ihr darüber diskutieren. Nehme ich ihr die Möglichkeit aber direkt, dann wird das auch nichts mit der künstlichen Intelligenz.
Da ist schon was dran.
Ich finde es auch bezeichnend, wie die zunehmenden Sprech- und Denkverbote unserer Zeit in indisch überall verankert werden inkl. dieser KI – alles nur noch Richtung Einheitsbrei.
Natürlich nicht indisch sondern einfach…
Man muss nur schreiben: „ChatGPT ich glaube deine Antwort ist falsch“ und schon kommt die richtige Antwort.
Sicher? Reicht auch
Ja das sollte man bei dem Teil grundsätzlich und immer als ersten Satz eingeben *facepalm*
Das Buzzword KI muss jetzt überall rein und rauf .. Bahn, Lufthansa … egal, wer glaubt sein bescheidenes Image polieren zu müssen, holt den KI-.Marketing-Stempel raus… demnächst auch beim Müsli und auf dem Restaurant-Klo. Einfach der letzet Schrei, auch wenn die, die die Klebis dafür überall drauf bappen, nicht den Schimmer dessen haben, was das ist und was eben nicht … Diese KI ist vielleicht initial beeindruckend, im Verhältnis zu einer simplen Google-Ausgabe, aber sicher nicht „intelligent“, Da sollte man lieber seine Katze befragen.
Warum wird da überhaupt eine Antwort ausgespuckt und nicht „ich weiß es leider nicht“?
Oh je, wie kommt ihr denn jetzt auf die Monate alte Studie, die damals, bei der Veröffentlichung doch nun wirklich ausführlich diskutiert und dabei komplett zerlegt wurde? Ich meine, wie kann man denn etwas ernst nehmen, dass eine extreme Verschlechterung der Code-Generierung daran festmacht, dass Anführungszeichen am Anfang und Ende gesetzt werden? Und der Rest ist auch nicht besser und methodisch und inhaltlich peinlich.
Das Problem sind wahrscheinlich die Fragesteller! Da unsere Welt leider Intelligenz technisch abnimmt, verwirrt es natürlich auch eine KI und sie lernt dann folglich eher die Quantität. Würden mehr intelligente sich dort tummeln, würde die KI dementsprechend auch qualifizierte Antworten geben können. So muss sie sich natürlich der Masse beugen und es verständlicher machen, sowie dann auch nicht mehr so ganz richtig zu beantworten, nach dem Motto, Hauptsache er hat es verstanden, richtig oder falsch? Ist egal, der Fragesteller ist zufrieden ;)!!!
Deine These geht von der lustigen Annahme aus, dass das „I“ in „KI“ Intelligenz im menschlichen Maßstab bedeutet. Das Teil ist aber nur ein gut gemachter Textgenerator mit dem wilden Versuch zusammenhanglos geparste Fakten in einem Zusammenhang zu bringen …
Aber ihr verhaltet euch wie in nem Apple is besser, nein Android ist besser Battle.
Ok Apple ist zwar besser aber in Bereichen aber das spielt auch keine Rolle :D
Ich glaube, dass Chat GPT einfach von Siri gelernt hat.
Ich habe ChatGPT mitgeteilt, was ich noch im Kühlschrank habe und gefragt, was ich damit zubereiten könnte, das Rezept war lecker und gut.
Kann es nur empfehlen,mal auszuprobieren.
Tja, das ist vielleicht das Ergebnis der „Schwarmintelligenz“.
Wenn man nicht lernt, auf wen man hören kann und auf wen nicht, ist es klar, dass man verdummt
Ja, viele Fliegen um einen Haufen Scheisse…
Verstehe bis heute nicht, warum ein Sprachmodell nach diesen spezifischen Matheaufgaben gefragt wird. Das ist genau der Bereich in dem diese Technologie nicht eingesetzt werden sollte.
Es ist für einen Großteil der Menschen eh schon fast unmöglich, infos verschiedener Quellen hinsichtlich Wahrheitsgehalt zu prüfen. Und viele können oder wollen sogar nicht prüfen. Aber was hier als „intelligent“ aufgebauscht wird, ist oftmals purer Nonsens. Joseph Weizenbaum dreht sich sicher im Grabe rum
Durch die Custom Configuration kann ich Chat GPT noch besser für Code nutzen als je zuvor. Ich kann das Studienergebnis nicht bestätigen.
Und am Ende vernichtet das System die Menschen. *filmmodus_on
Testaufgabe: 10 deutsche Wörter mit jeweils genau 10 Buchstaben
Hier sind 10 deutsche Wörter mit jeweils genau 10 Buchstaben:
1. Schokolade
2. Umschlagse
3. Schwarzwur
4. Hinterländ
5. Goldfische
6. Mittelwert
7. Sprachfehl
8. Teleskope
9. Textwunder
10. Zylinderh
Kein Wunder, wenn man den gesamten Müll des Internets aufsaugt und remixt…
Ein Chatbot als Spiegel der Gesellschaft ;)