Bewertung durch eine künstliche Intelligenz?
Künstliche Intelligenz (KI) kann im Prozess der Leistungsbewertung assistieren und diesen transformieren. Besonders lohnend scheint eine KI-Assistenz bei der Bewertung von komplexem, geschriebenem Text. Jedoch ist der Einsatz von KI im Bewertungsprozess «hochriskant» (EU 2024) und bedarf umfangreic...
Saved in:
| Main Authors: | , |
|---|---|
| Format: | Article |
| Language: | deu |
| Published: |
MedienPädagogik
2025-08-01
|
| Series: | MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung |
| Subjects: | |
| Online Access: | https://www.medienpaed.com/article/view/2028 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1850030193437048832 |
|---|---|
| author | Lhea Reinhold Marion Händel |
| author_facet | Lhea Reinhold Marion Händel |
| author_sort | Lhea Reinhold |
| collection | DOAJ |
| description |
Künstliche Intelligenz (KI) kann im Prozess der Leistungsbewertung assistieren und diesen transformieren. Besonders lohnend scheint eine KI-Assistenz bei der Bewertung von komplexem, geschriebenem Text. Jedoch ist der Einsatz von KI im Bewertungsprozess «hochriskant» (EU 2024) und bedarf umfangreicher Analysen. Die vorliegende Studie untersucht, inwiefern ChatGPT-4o die Auswertung und Interpretation von Lerntagebucheinträgen objektiv vornehmen kann. Dafür werden 757 Lerntagebucheinträge aus der geförderten Weiterbildung in Deutschland von Mensch und Maschine bewertet. Sowohl Mensch als auch Maschine erhalten hierzu Kriterien, nach denen die Bewertung vorzunehmen ist; ChatGPT-4o wird diesbezüglich mit einem Prompt unterstützt. Die Übereinstimmung der Bewertungen wird anhand der Masse Sensitivität und Spezifität gemessen. Die Ergebnisse zeigen, dass die Bewertungsvorschläge von ChatGPT-4o eine moderate bis hohe Übereinstimmung mit den menschlichen Bewertungen aufweisen; gleichzeitig neigt ChatGPT-4o jedoch zu einer optimistischen Bewertung der Lerntagebucheinträge. Die Ergebnisse weisen darauf hin, dass eine hybride Intelligenz, also eine Kombination der Stärken von Mensch und Maschine, gewinnbringend für Bewertungsprozesse sein kann. Künftig denkbar sind halbautomatisierte Bewertungsprozesse von Lerntagebucheinträgen, in denen die KI die Bewertung der Lerntagebucheinträge übernimmt und Lehrkräfte bei kritischen Fällen regulierend eingreifen. So könnte die Korrektureffizienz ohne bedeutende Qualitätsverluste gesteigert werden.
|
| format | Article |
| id | doaj-art-3cc8ea9599354fa189146db6d10b5b94 |
| institution | DOAJ |
| issn | 1424-3636 |
| language | deu |
| publishDate | 2025-08-01 |
| publisher | MedienPädagogik |
| record_format | Article |
| series | MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung |
| spelling | doaj-art-3cc8ea9599354fa189146db6d10b5b942025-08-20T02:59:16ZdeuMedienPädagogikMedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung1424-36362025-08-0165MEDIDA2410.21240/mpaed/65/2025.08.03.XBewertung durch eine künstliche Intelligenz?Lhea Reinhold0https://orcid.org/0009-0002-7481-0690Marion Händel1https://orcid.org/0000-0002-3069-5582Friedrich-Alexander-Universität Erlangen-Nürnberg Ansbach University of Applied Sciences Künstliche Intelligenz (KI) kann im Prozess der Leistungsbewertung assistieren und diesen transformieren. Besonders lohnend scheint eine KI-Assistenz bei der Bewertung von komplexem, geschriebenem Text. Jedoch ist der Einsatz von KI im Bewertungsprozess «hochriskant» (EU 2024) und bedarf umfangreicher Analysen. Die vorliegende Studie untersucht, inwiefern ChatGPT-4o die Auswertung und Interpretation von Lerntagebucheinträgen objektiv vornehmen kann. Dafür werden 757 Lerntagebucheinträge aus der geförderten Weiterbildung in Deutschland von Mensch und Maschine bewertet. Sowohl Mensch als auch Maschine erhalten hierzu Kriterien, nach denen die Bewertung vorzunehmen ist; ChatGPT-4o wird diesbezüglich mit einem Prompt unterstützt. Die Übereinstimmung der Bewertungen wird anhand der Masse Sensitivität und Spezifität gemessen. Die Ergebnisse zeigen, dass die Bewertungsvorschläge von ChatGPT-4o eine moderate bis hohe Übereinstimmung mit den menschlichen Bewertungen aufweisen; gleichzeitig neigt ChatGPT-4o jedoch zu einer optimistischen Bewertung der Lerntagebucheinträge. Die Ergebnisse weisen darauf hin, dass eine hybride Intelligenz, also eine Kombination der Stärken von Mensch und Maschine, gewinnbringend für Bewertungsprozesse sein kann. Künftig denkbar sind halbautomatisierte Bewertungsprozesse von Lerntagebucheinträgen, in denen die KI die Bewertung der Lerntagebucheinträge übernimmt und Lehrkräfte bei kritischen Fällen regulierend eingreifen. So könnte die Korrektureffizienz ohne bedeutende Qualitätsverluste gesteigert werden. https://www.medienpaed.com/article/view/2028KI-AssistenzObjektivitätBewertungskompetenzLerntagebücher |
| spellingShingle | Lhea Reinhold Marion Händel Bewertung durch eine künstliche Intelligenz? MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung KI-Assistenz Objektivität Bewertungskompetenz Lerntagebücher |
| title | Bewertung durch eine künstliche Intelligenz? |
| title_full | Bewertung durch eine künstliche Intelligenz? |
| title_fullStr | Bewertung durch eine künstliche Intelligenz? |
| title_full_unstemmed | Bewertung durch eine künstliche Intelligenz? |
| title_short | Bewertung durch eine künstliche Intelligenz? |
| title_sort | bewertung durch eine kunstliche intelligenz |
| topic | KI-Assistenz Objektivität Bewertungskompetenz Lerntagebücher |
| url | https://www.medienpaed.com/article/view/2028 |
| work_keys_str_mv | AT lheareinhold bewertungdurcheinekunstlicheintelligenz AT marionhandel bewertungdurcheinekunstlicheintelligenz |