Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity Transformer
Pelayanan pelanggan atau customer service adalah sebuah bentuk upaya pemenuhan keinginan dan kebutuhan pelanggan yang disertai dengan ketepatan penyampaian sesuai standar perusahaan demi memenuhi harapan pelanggan. Pada beberapa kasus seperti layanan perbankan, diperlukan layanan pelanggan yang dap...
Saved in:
| Main Authors: | , , |
|---|---|
| Format: | Article |
| Language: | Indonesian |
| Published: |
University of Brawijaya
2024-10-01
|
| Series: | Jurnal Teknologi Informasi dan Ilmu Komputer |
| Subjects: | |
| Online Access: | https://jtiik.ub.ac.id/index.php/jtiik/article/view/7985 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1823858609649352704 |
|---|---|
| author | Zahra Asma Annisa Rizal Setya Perdana Putra Pandu Adikara |
| author_facet | Zahra Asma Annisa Rizal Setya Perdana Putra Pandu Adikara |
| author_sort | Zahra Asma Annisa |
| collection | DOAJ |
| description |
Pelayanan pelanggan atau customer service adalah sebuah bentuk upaya pemenuhan keinginan dan kebutuhan pelanggan yang disertai dengan ketepatan penyampaian sesuai standar perusahaan demi memenuhi harapan pelanggan. Pada beberapa kasus seperti layanan perbankan, diperlukan layanan pelanggan yang dapat diakses setiap saat dengan ketepatan dan daya tanggap tinggi. Atas kebutuhan pelayanan dengan kualitas tinggi ini, perusahaan dapat mengaplikasikan konsep pelayanan prima. Salah satu penerapan konsep kecerdasan buatan demi pelaksanaan pelayanan prima adalah penggunaan chatbot, yang memerlukan metode yang tepat bagi proses klasifikasi intensi pengguna maupun Named Entity Recognition (NER). Salah satu kekurangan dari pelaksanaan klasifikasi intensi dan NER secara terpisah terletak pada representasi numerik yang digunakan dalam tiap model. Meski menggunakan data latih dan arsitektur model yang serupa, model dapat menghasilkan representasi numerik yang berbeda dalam tahap fiturisasi, sehingga berpotensi mengurangi tingkat generalisasi model. Untuk mengatasi masalah tersebut, klasifikasi intensi dan NER dapat digabungkan dengan menggunakan mekanisme multi-task learning dalam bentuk model Dual Intent and Entity Transformer (DIET). Penelitian dilakukan dengan memanfaatkan data sekunder dari Helpdesk TIK UB, merancang model DIET menggunakan pustaka PyTorch dan Transformers, lalu mengevaluasi model DIET menggunakan f1-score. Kombinasi hyperparameter terbaik yang didapatkan adalah warm-up step sebesar 70, early stopping patience sebesar 15, weight decay sebesar 0,01, bobot loss NER sebesar 0,6, dan bobot loss klasifikasi intensi berupa 0,4. Kombinasi hyperparameter yang telah diperoleh menghasilkan kapabilitas yang berbeda apabila terdapat perubahan dalam data yang digunakan, karena kapabilitas model DIET baik dalam melakukan klasifikasi intensi maupun NER sangat bergantung terhadap data.
Abstract
Customer service is a way to fulfill the wants and needs of customers accompanied by the accuracy of delivery according to company standards in order to meet customer expectations. In some cases such as banking services, customer service is needed that can be accessed at any time with high accuracy and responsiveness. For this high-quality service requirement, companies can implement the concept of excellent service. One application of artificial intelligence for service excellence is the use of a chatbot, which requires an appropriate method for the classification of user intent and Named Entity Recognition (NER). One of the drawbacks of performing intent classification and NER separately lies in the different numerical representations used in each model. Despite using similar training data and model architecture, the models may produce different numerical representations in the featurization stage, potentially reducing the generalization ability of the model. To overcome this problem, intent and NER classification can be combined using a multi-task learning mechanism in the form of a Dual Intent and Entity Transformer (DIET) model. The research was conducted by utilizing secondary data from Helpdesk TIK UB, designing DIET models using PyTorch and Transformers libraries, then evaluating DIET models using f1-score. The best hyperparameter combination obtained is a warm-up step of 70, early stopping patience of 15, weight decay of 0.01, NER loss weight of 0.6, and intent classification loss weight of 0.4. The combination of hyperparameters that have been obtained produce different capabilities if there are changes in the data that is used because the capabilities of the DIET model in both intention and NER classification are highly dependent on the data.
|
| format | Article |
| id | doaj-art-31aa1ba16cde47c798772b181e10d5ca |
| institution | Kabale University |
| issn | 2355-7699 2528-6579 |
| language | Indonesian |
| publishDate | 2024-10-01 |
| publisher | University of Brawijaya |
| record_format | Article |
| series | Jurnal Teknologi Informasi dan Ilmu Komputer |
| spelling | doaj-art-31aa1ba16cde47c798772b181e10d5ca2025-02-11T10:37:05ZindUniversity of BrawijayaJurnal Teknologi Informasi dan Ilmu Komputer2355-76992528-65792024-10-0111510.25126/jtiik.1077985Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity TransformerZahra Asma Annisa0Rizal Setya Perdana1Putra Pandu Adikara2Universitas Brawijaya, MalangUniversitas Brawijaya, MalangUniversitas Brawijaya, Malang Pelayanan pelanggan atau customer service adalah sebuah bentuk upaya pemenuhan keinginan dan kebutuhan pelanggan yang disertai dengan ketepatan penyampaian sesuai standar perusahaan demi memenuhi harapan pelanggan. Pada beberapa kasus seperti layanan perbankan, diperlukan layanan pelanggan yang dapat diakses setiap saat dengan ketepatan dan daya tanggap tinggi. Atas kebutuhan pelayanan dengan kualitas tinggi ini, perusahaan dapat mengaplikasikan konsep pelayanan prima. Salah satu penerapan konsep kecerdasan buatan demi pelaksanaan pelayanan prima adalah penggunaan chatbot, yang memerlukan metode yang tepat bagi proses klasifikasi intensi pengguna maupun Named Entity Recognition (NER). Salah satu kekurangan dari pelaksanaan klasifikasi intensi dan NER secara terpisah terletak pada representasi numerik yang digunakan dalam tiap model. Meski menggunakan data latih dan arsitektur model yang serupa, model dapat menghasilkan representasi numerik yang berbeda dalam tahap fiturisasi, sehingga berpotensi mengurangi tingkat generalisasi model. Untuk mengatasi masalah tersebut, klasifikasi intensi dan NER dapat digabungkan dengan menggunakan mekanisme multi-task learning dalam bentuk model Dual Intent and Entity Transformer (DIET). Penelitian dilakukan dengan memanfaatkan data sekunder dari Helpdesk TIK UB, merancang model DIET menggunakan pustaka PyTorch dan Transformers, lalu mengevaluasi model DIET menggunakan f1-score. Kombinasi hyperparameter terbaik yang didapatkan adalah warm-up step sebesar 70, early stopping patience sebesar 15, weight decay sebesar 0,01, bobot loss NER sebesar 0,6, dan bobot loss klasifikasi intensi berupa 0,4. Kombinasi hyperparameter yang telah diperoleh menghasilkan kapabilitas yang berbeda apabila terdapat perubahan dalam data yang digunakan, karena kapabilitas model DIET baik dalam melakukan klasifikasi intensi maupun NER sangat bergantung terhadap data. Abstract Customer service is a way to fulfill the wants and needs of customers accompanied by the accuracy of delivery according to company standards in order to meet customer expectations. In some cases such as banking services, customer service is needed that can be accessed at any time with high accuracy and responsiveness. For this high-quality service requirement, companies can implement the concept of excellent service. One application of artificial intelligence for service excellence is the use of a chatbot, which requires an appropriate method for the classification of user intent and Named Entity Recognition (NER). One of the drawbacks of performing intent classification and NER separately lies in the different numerical representations used in each model. Despite using similar training data and model architecture, the models may produce different numerical representations in the featurization stage, potentially reducing the generalization ability of the model. To overcome this problem, intent and NER classification can be combined using a multi-task learning mechanism in the form of a Dual Intent and Entity Transformer (DIET) model. The research was conducted by utilizing secondary data from Helpdesk TIK UB, designing DIET models using PyTorch and Transformers libraries, then evaluating DIET models using f1-score. The best hyperparameter combination obtained is a warm-up step of 70, early stopping patience of 15, weight decay of 0.01, NER loss weight of 0.6, and intent classification loss weight of 0.4. The combination of hyperparameters that have been obtained produce different capabilities if there are changes in the data that is used because the capabilities of the DIET model in both intention and NER classification are highly dependent on the data. https://jtiik.ub.ac.id/index.php/jtiik/article/view/7985Klasifikasi IntensiNamed Entity RecognitionDual Intent and Entity TransformerIndoBERTPelayanan Pelanggan |
| spellingShingle | Zahra Asma Annisa Rizal Setya Perdana Putra Pandu Adikara Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity Transformer Jurnal Teknologi Informasi dan Ilmu Komputer Klasifikasi Intensi Named Entity Recognition Dual Intent and Entity Transformer IndoBERT Pelayanan Pelanggan |
| title | Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity Transformer |
| title_full | Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity Transformer |
| title_fullStr | Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity Transformer |
| title_full_unstemmed | Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity Transformer |
| title_short | Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity Transformer |
| title_sort | kombinasi intent classification dan named entity recognition pada data berbahasa indonesia dengan metode dual intent and entity transformer |
| topic | Klasifikasi Intensi Named Entity Recognition Dual Intent and Entity Transformer IndoBERT Pelayanan Pelanggan |
| url | https://jtiik.ub.ac.id/index.php/jtiik/article/view/7985 |
| work_keys_str_mv | AT zahraasmaannisa kombinasiintentclassificationdannamedentityrecognitionpadadataberbahasaindonesiadenganmetodedualintentandentitytransformer AT rizalsetyaperdana kombinasiintentclassificationdannamedentityrecognitionpadadataberbahasaindonesiadenganmetodedualintentandentitytransformer AT putrapanduadikara kombinasiintentclassificationdannamedentityrecognitionpadadataberbahasaindonesiadenganmetodedualintentandentitytransformer |