Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian Esai
Ujian berbasis esai seringkali digunakan untuk menguji pemahaman siswa dalam menyelesaikan permasalahan. Tak terkecuali dalam pelaksanaan ujian di Politeknik Statistika STIS. Dalam melakukan penilaian pada jawaban tipe ini, dibutuhkan waktu serta tenaga yang besar, dan sering kali menimbulkan ketid...
Saved in:
| Main Authors: | , |
|---|---|
| Format: | Article |
| Language: | Indonesian |
| Published: |
University of Brawijaya
2023-12-01
|
| Series: | Jurnal Teknologi Informasi dan Ilmu Komputer |
| Online Access: | https://jtiik.ub.ac.id/index.php/jtiik/article/view/7338 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1823858661218320384 |
|---|---|
| author | Kharisma Ayu Pradani Lya Hulliyyatus Suadaa |
| author_facet | Kharisma Ayu Pradani Lya Hulliyyatus Suadaa |
| author_sort | Kharisma Ayu Pradani |
| collection | DOAJ |
| description |
Ujian berbasis esai seringkali digunakan untuk menguji pemahaman siswa dalam menyelesaikan permasalahan. Tak terkecuali dalam pelaksanaan ujian di Politeknik Statistika STIS. Dalam melakukan penilaian pada jawaban tipe ini, dibutuhkan waktu serta tenaga yang besar, dan sering kali menimbulkan ketidakkonsistenan dalam penilaian. Hal ini dapat terjadi salah satunya karena perbedaan cara penilaian yang dilakukan oleh orang yang berbeda. Oleh karena itu diperlukan penyelesaian yang bisa mengefektifkan waktu, tenaga serta menjaga kekonsistenan aspek penilaian, diantaranya yaitu dengan automated essay scoring (AES). AES merupakan suatu model yang dilatih untuk menilai suatu esai secara otomatis berdasarkan kemiripan jawaban dengan kunci jawaban. Pada penelitian ini, metode yang diusulkan untuk menghitung kemiripan semantik teks berbahasa Indonesia antara jawaban esai dan kunci jawabannya yaitu model berbasis Transformers IndoBERT. Sebagai baseline, digunakan teknik ekstraksi fitur Term Frequency - Inverse Document Frequency (TF-IDF) dan penghitungan kemiripan fitur menggunakan cosine similarity dan linear regression. Selanjutnya nilai kemiripan tersebut dikonversi ke rentang nilai yang diinginkan sebagai prediksi nilai dari setiap esai. Berdasarkan hasil evaluasi, diperoleh bahwa model fine-tuned IndoBERT merupakan model terbaik dengan nilai MAE dan RMSE sebesar 0.1285 dan 0.2001.
Abstract
Essay-based exams are often used to test students’ understanding of solving problems. However, assessing this type of answer takes a lot of time and effort and often results in inconsistencies. One of the reasons is the different ways between people while doing the assessment. Therefore, a solution is needed to streamline time, effort, and maintain consistency in aspects of assessment, including automated essay scoring (AES). AES is a model trained to assess an essay automatically based on the similarity of answers with the answer key. In this study, the method proposed to calculate the semantic similarity of Indonesian text between essay answers and answer keys is a model based on the Transformer BERT. As a baseline, the Term Frequency – Inverse Document Frequency (TF-IDF) feature extraction technique is used and calculating feature similarity using cosine similarity and linear regression. Then the similarity value is converted to the desired range of values as the predicted value of each essay. Based on the evaluation results, it was found that the fine-tuned IndoBERT model was the best model, with MAE and RMSE values of 0.1285 and 0.2001.
|
| format | Article |
| id | doaj-art-ea5f7a63e9af415fa8bf337eb9eba889 |
| institution | Kabale University |
| issn | 2355-7699 2528-6579 |
| language | Indonesian |
| publishDate | 2023-12-01 |
| publisher | University of Brawijaya |
| record_format | Article |
| series | Jurnal Teknologi Informasi dan Ilmu Komputer |
| spelling | doaj-art-ea5f7a63e9af415fa8bf337eb9eba8892025-02-11T10:38:29ZindUniversity of BrawijayaJurnal Teknologi Informasi dan Ilmu Komputer2355-76992528-65792023-12-0110610.25126/jtiik.1067338Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian EsaiKharisma Ayu Pradani0Lya Hulliyyatus Suadaa1Politeknik Statistika STIS, Jakarta TimurPoliteknik Statistika STIS, Jakarta Timur Ujian berbasis esai seringkali digunakan untuk menguji pemahaman siswa dalam menyelesaikan permasalahan. Tak terkecuali dalam pelaksanaan ujian di Politeknik Statistika STIS. Dalam melakukan penilaian pada jawaban tipe ini, dibutuhkan waktu serta tenaga yang besar, dan sering kali menimbulkan ketidakkonsistenan dalam penilaian. Hal ini dapat terjadi salah satunya karena perbedaan cara penilaian yang dilakukan oleh orang yang berbeda. Oleh karena itu diperlukan penyelesaian yang bisa mengefektifkan waktu, tenaga serta menjaga kekonsistenan aspek penilaian, diantaranya yaitu dengan automated essay scoring (AES). AES merupakan suatu model yang dilatih untuk menilai suatu esai secara otomatis berdasarkan kemiripan jawaban dengan kunci jawaban. Pada penelitian ini, metode yang diusulkan untuk menghitung kemiripan semantik teks berbahasa Indonesia antara jawaban esai dan kunci jawabannya yaitu model berbasis Transformers IndoBERT. Sebagai baseline, digunakan teknik ekstraksi fitur Term Frequency - Inverse Document Frequency (TF-IDF) dan penghitungan kemiripan fitur menggunakan cosine similarity dan linear regression. Selanjutnya nilai kemiripan tersebut dikonversi ke rentang nilai yang diinginkan sebagai prediksi nilai dari setiap esai. Berdasarkan hasil evaluasi, diperoleh bahwa model fine-tuned IndoBERT merupakan model terbaik dengan nilai MAE dan RMSE sebesar 0.1285 dan 0.2001. Abstract Essay-based exams are often used to test students’ understanding of solving problems. However, assessing this type of answer takes a lot of time and effort and often results in inconsistencies. One of the reasons is the different ways between people while doing the assessment. Therefore, a solution is needed to streamline time, effort, and maintain consistency in aspects of assessment, including automated essay scoring (AES). AES is a model trained to assess an essay automatically based on the similarity of answers with the answer key. In this study, the method proposed to calculate the semantic similarity of Indonesian text between essay answers and answer keys is a model based on the Transformer BERT. As a baseline, the Term Frequency – Inverse Document Frequency (TF-IDF) feature extraction technique is used and calculating feature similarity using cosine similarity and linear regression. Then the similarity value is converted to the desired range of values as the predicted value of each essay. Based on the evaluation results, it was found that the fine-tuned IndoBERT model was the best model, with MAE and RMSE values of 0.1285 and 0.2001. https://jtiik.ub.ac.id/index.php/jtiik/article/view/7338 |
| spellingShingle | Kharisma Ayu Pradani Lya Hulliyyatus Suadaa Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian Esai Jurnal Teknologi Informasi dan Ilmu Komputer |
| title | Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian Esai |
| title_full | Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian Esai |
| title_fullStr | Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian Esai |
| title_full_unstemmed | Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian Esai |
| title_short | Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian Esai |
| title_sort | automated essay scoring menggunakan semantic textual similarity berbasis transformer untuk penilaian ujian esai |
| url | https://jtiik.ub.ac.id/index.php/jtiik/article/view/7338 |
| work_keys_str_mv | AT kharismaayupradani automatedessayscoringmenggunakansemantictextualsimilarityberbasistransformeruntukpenilaianujianesai AT lyahulliyyatussuadaa automatedessayscoringmenggunakansemantictextualsimilarityberbasistransformeruntukpenilaianujianesai |