Дослідження продуктивності кластера Apache Spark на платформі Azure для методів машинного навчання
Розглянуто та досліджено питання підвищення продуктивності застосування моделей та методів задач машинного навчання з використанням Apache Spark Azure HDInsight. Для підвищення обгрунтованості отриманих результатів використано один з найбільш відомих бенмарків для тестування бібліотек машинного навч...
Saved in:
| Main Author: | |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
Ivan Kozhedub Kharkiv National Air Force University
2020-04-01
|
| Series: | Збірник наукових праць Харківського національного університету Повітряних Сил |
| Subjects: | |
| Online Access: | https://journal-hnups.com.ua/index.php/zhups/article/view/200 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Summary: | Розглянуто та досліджено питання підвищення продуктивності застосування моделей та методів задач машинного навчання з використанням Apache Spark Azure HDInsight. Для підвищення обгрунтованості отриманих результатів використано один з найбільш відомих бенмарків для тестування бібліотек машинного навчання Spark-Perf. Наведені кроки щодо встановлення, розгортання та налаштування Apache Spark на платформі Azure. Для оцінки ефективності розподілених обчислень використано метрики продуктивності щодо середнього часу навчання та тестування та їх відношення. Проведений порівняльний аналіз результатів розв’язку задач з бібліотеки MLlib для кластерів з гомогенною та гетерогенною архітектурою, які свідчать про високу ефективність їх використання. |
|---|---|
| ISSN: | 2073-7378 2518-1661 |