Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa Indonesia
Penelitian ini mengeksplorasi penerapan dari metode Parameter-Efficient Finetuning (PEFT) Low-Rank Adaptation+ (LoRA+) pada transfer learning model Llama 3.2 1B, sebuah model bahasa besar. Seiring bertambahnya ukuran model bahasa, finetuning yang dilakukan secara konvensional dalam transfer learning...
Saved in:
| Main Authors: | , , , , , , |
|---|---|
| Format: | Article |
| Language: | Indonesian |
| Published: |
Universitas Dian Nuswantoro
2025-05-01
|
| Series: | Techno.Com |
| Online Access: | https://publikasi.dinus.ac.id/index.php/technoc/article/view/12508 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1849735653254758400 |
|---|---|
| author | Faiz Kautsar Farhan Wicaksono Abdan Hafidz Diana Purwitasari Nanik Suciati Dini Adni Navastara Ilham Gurat Adillion |
| author_facet | Faiz Kautsar Farhan Wicaksono Abdan Hafidz Diana Purwitasari Nanik Suciati Dini Adni Navastara Ilham Gurat Adillion |
| author_sort | Faiz Kautsar |
| collection | DOAJ |
| description | Penelitian ini mengeksplorasi penerapan dari metode Parameter-Efficient Finetuning (PEFT) Low-Rank Adaptation+ (LoRA+) pada transfer learning model Llama 3.2 1B, sebuah model bahasa besar. Seiring bertambahnya ukuran model bahasa, finetuning yang dilakukan secara konvensional dalam transfer learning semakin tidak fisibel untuk dilakukan tanpa menggunakan komputasi skala besar. Untuk menangani hal tersebut, dapat dilakukan finetuning pada beberapa komponen saja, menggunakan komputasi yang relatif minimal berbanding dengan finetuning konvensional, metode-metode yang menerapkan prinsip ini disebut juga sebagai PEFT. Penelitian menguji efektifitas metode PEFT, yakni LoRA+, pada transfer learning model bahasa besar terhadap domain baru, yakni bahasa Indonesia, menggunakan metrik BLEU, ROUGE, serta Weighted F1. Hasil penelitian menunjukkan bahwa penerapan LoRA+ menghasilkan performa kompetitif dan unggul terhadap baseline dalam kemampuan berbahasa Indonesia, dengan peningkatan 112% pada skor BLEU dan 21.7% pada skor ROUGE-L, dengan standar deviasi yang relatif rendah sebesar 3.72 dan 0.00075. Meskipun terjadi penurunan pada skor Weighted F1 sebesar 13% yang disebabkan oleh domain shift, model menunjukkan kemampuan transfer lintas-bahasa yang baik.
Kata kunci: Finetuning, Model Bahasa Besar, Parameter-Efficient Finetuning, Low-Rank Adaptation, Transfer Learning |
| format | Article |
| id | doaj-art-14863cf6a84a4b6f8aae62765f353e3e |
| institution | DOAJ |
| issn | 2356-2579 |
| language | Indonesian |
| publishDate | 2025-05-01 |
| publisher | Universitas Dian Nuswantoro |
| record_format | Article |
| series | Techno.Com |
| spelling | doaj-art-14863cf6a84a4b6f8aae62765f353e3e2025-08-20T03:07:31ZindUniversitas Dian NuswantoroTechno.Com2356-25792025-05-0124233234310.62411/tc.v24i2.1250818015Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa IndonesiaFaiz Kautsar0Farhan Wicaksono1Abdan Hafidz2Diana Purwitasari3Nanik Suciati4Dini Adni Navastara5Ilham Gurat Adillion6Institut Teknologi Sepuluh NopemberInstitut Teknologi Sepuluh NopemberInstitut Teknologi Sepuluh NopemberInstitut Teknologi Sepuluh NopemberInstitut Teknologi Sepuluh NopemberInstitut Teknologi Sepuluh NopemberInstitut Teknologi Sepuluh NopemberPenelitian ini mengeksplorasi penerapan dari metode Parameter-Efficient Finetuning (PEFT) Low-Rank Adaptation+ (LoRA+) pada transfer learning model Llama 3.2 1B, sebuah model bahasa besar. Seiring bertambahnya ukuran model bahasa, finetuning yang dilakukan secara konvensional dalam transfer learning semakin tidak fisibel untuk dilakukan tanpa menggunakan komputasi skala besar. Untuk menangani hal tersebut, dapat dilakukan finetuning pada beberapa komponen saja, menggunakan komputasi yang relatif minimal berbanding dengan finetuning konvensional, metode-metode yang menerapkan prinsip ini disebut juga sebagai PEFT. Penelitian menguji efektifitas metode PEFT, yakni LoRA+, pada transfer learning model bahasa besar terhadap domain baru, yakni bahasa Indonesia, menggunakan metrik BLEU, ROUGE, serta Weighted F1. Hasil penelitian menunjukkan bahwa penerapan LoRA+ menghasilkan performa kompetitif dan unggul terhadap baseline dalam kemampuan berbahasa Indonesia, dengan peningkatan 112% pada skor BLEU dan 21.7% pada skor ROUGE-L, dengan standar deviasi yang relatif rendah sebesar 3.72 dan 0.00075. Meskipun terjadi penurunan pada skor Weighted F1 sebesar 13% yang disebabkan oleh domain shift, model menunjukkan kemampuan transfer lintas-bahasa yang baik. Kata kunci: Finetuning, Model Bahasa Besar, Parameter-Efficient Finetuning, Low-Rank Adaptation, Transfer Learninghttps://publikasi.dinus.ac.id/index.php/technoc/article/view/12508 |
| spellingShingle | Faiz Kautsar Farhan Wicaksono Abdan Hafidz Diana Purwitasari Nanik Suciati Dini Adni Navastara Ilham Gurat Adillion Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa Indonesia Techno.Com |
| title | Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa Indonesia |
| title_full | Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa Indonesia |
| title_fullStr | Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa Indonesia |
| title_full_unstemmed | Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa Indonesia |
| title_short | Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa Indonesia |
| title_sort | transfer learning menggunakan lora pada llama 3 2 untuk percakapan bahasa indonesia |
| url | https://publikasi.dinus.ac.id/index.php/technoc/article/view/12508 |
| work_keys_str_mv | AT faizkautsar transferlearningmenggunakanlorapadallama32untukpercakapanbahasaindonesia AT farhanwicaksono transferlearningmenggunakanlorapadallama32untukpercakapanbahasaindonesia AT abdanhafidz transferlearningmenggunakanlorapadallama32untukpercakapanbahasaindonesia AT dianapurwitasari transferlearningmenggunakanlorapadallama32untukpercakapanbahasaindonesia AT naniksuciati transferlearningmenggunakanlorapadallama32untukpercakapanbahasaindonesia AT diniadninavastara transferlearningmenggunakanlorapadallama32untukpercakapanbahasaindonesia AT ilhamguratadillion transferlearningmenggunakanlorapadallama32untukpercakapanbahasaindonesia |