Оптимізаційний метод AMSGrad в багатошарових нейронних мережах
Найпоширенішим способом оптимізації нейронних мереж є метод градієнтного спуску. Градієнтний спуск - це алгоритм оптимізації, який відслідковує негативне значенням градієнта цільової функції, щоб знайти мінімум функції похибки. Обмеження градієнтного спуску полягає в тому, що даний метод застосов...
Saved in:
| Main Authors: | , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
Oles Honchar Dnipro National University
2023-06-01
|
| Series: | Challenges and Issues of Modern Science |
| Online Access: | https://cims.fti.dp.ua/j/article/view/87 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1823858793807609856 |
|---|---|
| author | Сергій Свелеба Наталя Свелеба |
| author_facet | Сергій Свелеба Наталя Свелеба |
| author_sort | Сергій Свелеба |
| collection | DOAJ |
| description |
Найпоширенішим способом оптимізації нейронних мереж є метод градієнтного спуску. Градієнтний спуск - це алгоритм оптимізації, який відслідковує негативне значенням градієнта цільової функції, щоб знайти мінімум функції похибки.
Обмеження градієнтного спуску полягає в тому, що даний метод застосовує одну швидкість навчання для всіх вхідних змінних. Розширення градієнтного спуску, як-от алгоритм Adaptive Movement Estimation (Adam), використовує різну швидкість навчання для кожної вхідної змінної, але в результаті цього швидкість навчання може швидко зменшуватися до дуже малих значень [3].
Метод AMSGrad є розширеною версією метода Adam, який намагається покращити властивості конвергенції алгоритму, уникаючи великих різких змін у швидкості навчання для кожної вхідної змінної. Технічно градієнт спуску називають алгоритмом оптимізації першого порядку, оскільки він явно використовує похідну першого порядку цільової функції.
|
| format | Article |
| id | doaj-art-bab0d343c28b4a318c73b49f145329a3 |
| institution | Kabale University |
| issn | 3083-5704 |
| language | English |
| publishDate | 2023-06-01 |
| publisher | Oles Honchar Dnipro National University |
| record_format | Article |
| series | Challenges and Issues of Modern Science |
| spelling | doaj-art-bab0d343c28b4a318c73b49f145329a32025-02-11T09:56:15ZengOles Honchar Dnipro National UniversityChallenges and Issues of Modern Science3083-57042023-06-011Оптимізаційний метод AMSGrad в багатошарових нейронних мережахСергій Свелеба0https://orcid.org/0000-0002-0823-910XНаталя Свелеба1https://orcid.org/0009-0004-2886-3921Львівський національний університет імені Івана ФранкаЄвропейський університет, Львівська філія Найпоширенішим способом оптимізації нейронних мереж є метод градієнтного спуску. Градієнтний спуск - це алгоритм оптимізації, який відслідковує негативне значенням градієнта цільової функції, щоб знайти мінімум функції похибки. Обмеження градієнтного спуску полягає в тому, що даний метод застосовує одну швидкість навчання для всіх вхідних змінних. Розширення градієнтного спуску, як-от алгоритм Adaptive Movement Estimation (Adam), використовує різну швидкість навчання для кожної вхідної змінної, але в результаті цього швидкість навчання може швидко зменшуватися до дуже малих значень [3]. Метод AMSGrad є розширеною версією метода Adam, який намагається покращити властивості конвергенції алгоритму, уникаючи великих різких змін у швидкості навчання для кожної вхідної змінної. Технічно градієнт спуску називають алгоритмом оптимізації першого порядку, оскільки він явно використовує похідну першого порядку цільової функції. https://cims.fti.dp.ua/j/article/view/87 |
| spellingShingle | Сергій Свелеба Наталя Свелеба Оптимізаційний метод AMSGrad в багатошарових нейронних мережах Challenges and Issues of Modern Science |
| title | Оптимізаційний метод AMSGrad в багатошарових нейронних мережах |
| title_full | Оптимізаційний метод AMSGrad в багатошарових нейронних мережах |
| title_fullStr | Оптимізаційний метод AMSGrad в багатошарових нейронних мережах |
| title_full_unstemmed | Оптимізаційний метод AMSGrad в багатошарових нейронних мережах |
| title_short | Оптимізаційний метод AMSGrad в багатошарових нейронних мережах |
| title_sort | оптимізаційний метод amsgrad в багатошарових нейронних мережах |
| url | https://cims.fti.dp.ua/j/article/view/87 |
| work_keys_str_mv | AT sergíjsveleba optimízacíjnijmetodamsgradvbagatošarovihnejronnihmerežah AT natalâsveleba optimízacíjnijmetodamsgradvbagatošarovihnejronnihmerežah |