Оптимізаційний метод AMSGrad в багатошарових нейронних мережах
Найпоширенішим способом оптимізації нейронних мереж є метод градієнтного спуску. Градієнтний спуск - це алгоритм оптимізації, який відслідковує негативне значенням градієнта цільової функції, щоб знайти мінімум функції похибки. Обмеження градієнтного спуску полягає в тому, що даний метод застосов...
Saved in:
| Main Authors: | , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
Oles Honchar Dnipro National University
2023-06-01
|
| Series: | Challenges and Issues of Modern Science |
| Online Access: | https://cims.fti.dp.ua/j/article/view/87 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Summary: | Найпоширенішим способом оптимізації нейронних мереж є метод градієнтного спуску. Градієнтний спуск - це алгоритм оптимізації, який відслідковує негативне значенням градієнта цільової функції, щоб знайти мінімум функції похибки.
Обмеження градієнтного спуску полягає в тому, що даний метод застосовує одну швидкість навчання для всіх вхідних змінних. Розширення градієнтного спуску, як-от алгоритм Adaptive Movement Estimation (Adam), використовує різну швидкість навчання для кожної вхідної змінної, але в результаті цього швидкість навчання може швидко зменшуватися до дуже малих значень [3].
Метод AMSGrad є розширеною версією метода Adam, який намагається покращити властивості конвергенції алгоритму, уникаючи великих різких змін у швидкості навчання для кожної вхідної змінної. Технічно градієнт спуску називають алгоритмом оптимізації першого порядку, оскільки він явно використовує похідну першого порядку цільової функції.
|
|---|---|
| ISSN: | 3083-5704 |