Custom GPTs sind noch keine verlässlichen RAG-Systeme

Bei einem kürzlich durchgeführten Seminar an der HWZ im Rahmen des CAS Business Models & Strategy with AI habe ich beschlossen, auf die übliche PowerPoint-Präsentation zu verzichten. Stattdessen erarbeiteten wir die Inhalte gemeinsam mit den Studierenden, unter anderem auch durch den Einsatz generativer KI-Systeme.

Im Zeitalter der Digitalität gehört die Fähigkeit, digitale Quellen kritisch zu hinterfragen, zu den entscheidenden Kompetenzen. Die Leichtigkeit, mit der Informationen erstellt und verbreitet werden können, ist Fluch und Segen zugleich. Da Technologie nicht zwischen richtig und falsch unterscheidet, ist es wichtig, die allgemeine Kompetenz in der Quellenkritik kontinuierlich zu fördern.

Mit dieser Idee im Kopf habe ich den gemeinsamen Nachmittag zuerst mit der Auseinandersetzung mit Quellen, die in der Vergangenheit auf die Zukunft geblickt haben, begonnen und danach anhand von zwei gehypten neueren Produkten, dem rabbit R1 und der Frame-Brille von Brillant Labs gezeigt, wie wichtig die kritische Diskussion von Online-Quellen aller Art ist. Danach haben wir uns mit der Funktionsweise von KI-Textgeneratoren auseinandergesetzt und so auch die Grundlagen für eine kritische Nutzung solcher Systeme gelegt.

Das Seminar war in drei Blöcke aufgeteilt: Einen Einführungsblock, in welchem wir die oben erwähnten Grundlagen erarbeitet haben. Einen Block, in dem sich drei Gruppen jeweils einer Zukunftstechnologie angenähert haben. Und einen dritten Block, in welchem wir die Ergebnisse aus den Arbeitsgruppen diskutiert haben. Während des ersten und des dritten Blocks haben wir die Gespräche aufgezeichnet und die daraus resultierenden Audiodateien durch ein KI-System transkribieren lassen (MacWhisper)

Meine ursprüngliche Idee war, dass ich die Transkripte und die von den Studierenden erarbeiteten Inhalte in ein Custom GPT hochlade, um die Inhalte auf diese Weise den Studierenden und anderen Interessierten zugänglich zu machen. Ein einfaches, kleines RAG-System also. Grundsätzlich würde das wohl auch funktionieren, wenn uns OpenAI eine Möglichkeit gäbe, die Custom GPTs dazu zu bringen, sich nur auf die hochgeladenen Dokumente zu stützen. Leider haben alle Versuche, die Instruktionen, also den Prompt, zu optimieren, nichts gefruchtet. Irgendwann beginnt das System zu halluzinieren, und zwar massiv. Ich bin daher zum vorläufigen Schluss gekommen, dass Custom GPTs für diesen Zweck eher unbrauchbar sind. Du kannst Dich hier gerne mit dem erwähnten Custom GPT unterhalten, beachte aber, dass Du Dich auf die Antworten nicht verlassen kannst.

Ich habe dann auch noch Claude Projects von Anthropic getestet und dort viel die besseren Ergebnisse gesehen. Eigentlich habe ich nur korrekte Antworten erhalten und es sieht so aus, dass bei Claude Projects die Prompt-Anweisungen, sich nur auf die hochgeladenen Dokumente zu stützen, besser befolgt werden. Claude Projects können (noch) nicht öffentlich geshared werden, darum kann ich diese Lösung im Unterricht nicht so einsetzen, wie ich mir das vorgestellt habe.

Auch NotebookLM, das Experiment von Google, hat perfekt funktioniert. In diesem Falle habe ich allerdings auch nichts anderes erwartet, da dieses Produkt sich gerade dadurch auszeichnet, sich nur auf die hochgeladenen Quellen zu stützen. Doch auch hier, gibt es keine Möglichkeit, das Notebook öffentlich zu machen.

Eine weitere Möglichkeit läge darin, ein kleines einfaches RAG-System mithilfe von entsprechendnen Libraries, APIs und einer Vektordatenbank selbst zu bauen. Dazu war mir aber der Aufwand, auch wenn ich dazu eines der verfügbaren No-Code-Systeme genutzt hätte, zu gross.

Meiner Meinung nach ist es sinnvoll, die Inhalte einer gemeinsamen Lehrveranstaltung wie einem Seminar oder einer Vorlesung zu transkribieren und über ein generatives KI-System mit RAG-Funktionalität verfügbar zu machen. Dies ist jedoch derzeit nicht ohne relativ grossen Aufwand realisierbar.

Zur Illustration hier noch eine Antwort von Claude auf die Frage, was die wichtigsten Erkenntnisse aus diesem Seminar sind.

Basierend auf den Transkripten und Dokumenten lassen sich folgende Haupterkenntnisse aus dem Seminar "Digital Economy and Future Technologies" zusammenfassen:

1. Zukunftstechnologien und ihre Auswirkungen:
- Es wurden verschiedene Zukunftstechnologien diskutiert, darunter künstliche Intelligenz, autonomes Fahren, Augmented Reality und die Medizin der Zukunft.
- Diese Technologien haben das Potenzial, Geschäftsmodelle und die Gesellschaft grundlegend zu verändern.
- Es ist wichtig, die Chancen und Risiken dieser Technologien kritisch zu betrachten und ethische Fragen zu berücksichtigen.

2. Kritisches Hinterfragen von Technologieversprechen:
- Nicht alle technologischen Versprechen werden in der vorhergesagten Form oder Zeitspanne eintreten. 
- Es ist wichtig, Marketingaussagen und Zukunftsvisionen kritisch zu hinterfragen und nach konkreten Anwendungen und Beispielen zu suchen.

3. Einsatz von KI-Tools im Lernprozess:
- Im Seminar wurden verschiedene KI-Tools wie ChatGPT und Perplexity AI eingesetzt, um Informationen zu recherchieren und zu generieren.
- Diese Tools können den Lernprozess unterstützen, sollten aber nicht unkritisch verwendet werden. Ihre Limitationen müssen verstanden werden.

4. Experimentieren mit neuen Technologien:
- Es wurde empfohlen, frühzeitig mit neuen Technologien zu experimentieren, um deren Potenzial für das eigene Unternehmen zu verstehen.
- Hands-on Erfahrung ist wichtig, um realistische Einschätzungen treffen zu können.

5. Interdisziplinärer Ansatz:
- Die Auswirkungen von Zukunftstechnologien müssen aus verschiedenen Perspektiven betrachtet werden - technologisch, wirtschaftlich, gesellschaftlich und ethisch.

6. Kontinuierliches Lernen:
- Angesichts des schnellen technologischen Wandels ist kontinuierliches Lernen und die Bereitschaft zur Anpassung essentiell.

7. Verantwortungsvoller Umgang mit Technologie:
- Es wurde betont, dass Unternehmen und Individuen Verantwortung für den Einsatz neuer Technologien übernehmen und mögliche negative Auswirkungen berücksichtigen müssen.

Diese Erkenntnisse sollen die Teilnehmer befähigen, Zukunftstechnologien besser zu verstehen, kritisch zu hinterfragen und deren Potenzial für ihre eigenen Unternehmen und die Gesellschaft einzuschätzen.

LinkedIn Post: 💡 Custom GPTs im Unterricht: Experiment hat die derzeitigen Grenzen aufgezeigt.

Update:

Ich habe in der Zwischenzeit hier noch eine ausführlichere Zusammenfassung des Seminars generieren lassen: Zusammenfassung des Seminars Digital Economy and Future Technologies vom 23. August 2024

Kommentare

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert