Untersuchung und Evaluation der optimierten Nutzung von Prompt Engineering in Sprachmodellen zur effizienten und effektiven Klausurvorbereitung von Studierenden
| URL | http://edoc.sub.uni-hamburg.de/informatik/volltexte/2025/312/ |
|---|---|
| Dokumentart: | Bachelor Thesis |
| Institut: | Fachbereich Informatik |
| Sprache: | Deutsch |
| Erstellungsjahr: | 2025 |
| Publikationsdatum: | 24.10.2025 |
| Freie Schlagwörter (Deutsch): | Large Language Models , ChatGPT , Prompt Engineering , Prompt Techniken , Klausurvorbereitung |
| Freie Schlagwörter (Englisch): | Large Language Models , ChatGPT , Prompt Engineering , Prompt Techniques , Exam Preparation |
| DDC-Sachgruppe: | Informatik |
| BK - Klassifikation: | 54.08 |
Kurzfassung auf Deutsch:
Diese Arbeit untersucht, wie sich das Prompt Engineering (PE) und die Bereitstellung von Affordanzen für Large Language Models (LLMs) auf die Klausurvorbereitung, sowohl unter effektiven als auch effizienten Gesichtspunkten verhält. Explizit kam es zur Verwendung von ChatGPT als LLM. Um die Affordanzen und PE Techniken gebündelt zur Verfügung zu stellen, wurde ein Prompt Handbook entworfen. Zur Untersuchung der Effizienz und Effektivität wurde ein Between- Groups-Experiment durchgeführt, bei der sich auf einen Multiple-Choice-Test (MCT) vorbereitet wurde. In der Vorbereitung nutzte eine Gruppe kein ChatGPT, eine Gruppe ChatGPT uneingeschränkt und wiederum eine ChatGPT mit dem Prompt Handbook. Eine Evaluation der Ergebnisse zeigte, dass das Prompt Handbook, aber auch die Verwendung von ChatGPT in der kurzfristigen Klausurvorbereitung keinen Einfluss auf die Testergebnisse hatte. Gleichzeitig kam es aber auch nicht zu Verzerrungen in der Wahrnehmung des Lernfortschritts durch den Chatbot. Objektiv war die Nutzung des Prompt Handbooks tendenziell ineffizient, subjektiv nahmen viele Studierende eine Effizienzsteigerung wahr. Zur effektiven Nutzung trug das Prompt Handbook objektiv insofern bei, als dass es bisher unbekannte Affordanzen für Studierende bereitstellte. Zudem wurde subjektiv klar zugestimmt, dass ChatGPT effektiv das Verständnis gefördert hat. Vom Prompt Handbook wurden insgesamt weniger technische Prompt Techniken, die die Halluzination verringern, genutzt, sondern vielmehr konkrete Affordanzen, um mit ChatGPT in unterschiedlichen Rollen zu kommunizieren.
Kurzfassung auf Englisch:
This thesis investigates how prompt engineering (PE) and the provision of affordances for Large Language Models (LLMs) relate to exam preparation, both from an effective and efficient point of view. Explicitly, ChatGPT was used as an LLM. A Prompt Handbook was designed to make the affordances and PE techniques available in a bundled form. To analyse the efficiency and effectiveness, a between-groups experiment was conducted in which the participants prepared for an mutliple choice test (MCT). During preparation, one group did not use ChatGPT, one group used ChatGPT without restrictions and one group used ChatGPT with the Prompt Handbook. An evaluation of the results showed that the Prompt Handbook, as well as the use of ChatGPT in the short-term exam preparation, had no influence on the test results. At the same time, however, there were no distortions in the perception of learning progress through the chatbot. Objectively, the use of the Prompt Handbook tended to be inefficient; subjectively, many students perceived an increase in efficiency. Objectively, the Prompt Handbook contributed to effective use in that it provided previously unknown affordances for students. In addition, there was clear subjective agreement that ChatGPT effectively promoted understanding. Overall, the Prompt Handbook was used less for technical prompt techniques that reduce hallucination and more for concrete affordances to communicate with ChatGPT in different roles.
Hinweis zum Urherberrecht
Für Dokumente, die in elektronischer Form über Datenenetze angeboten werden, gilt uneingeschränkt das Urheberrechtsgesetz (UrhG). Insbesondere gilt:
Einzelne Vervielfältigungen, z.B. Kopien und Ausdrucke, dürfen nur zum privaten und sonstigen eigenen Gebrauch angefertigt werden (Paragraph 53 Urheberrecht). Die Herstellung und Verbreitung von weiteren Reproduktionen ist nur mit ausdrücklicher Genehmigung des Urhebers gestattet.
Der Benutzer ist für die Einhaltung der Rechtsvorschriften selbst verantwortlich und kann bei Mißbrauch haftbar gemacht werden.