Please use this identifier to cite or link to this item:
http://elar.khnu.km.ua/jspui/handle/123456789/8960

Можете відсканувати цей QR-код телефоном( програмою "Сканер QR-кодів" ) для збереження.

Title: Application of a genetic algorithm to search for the optimal convolutional neural network architecture with weight distribution
Other Titles: Застосування генетичного алгоритму для пошуку оптимальної архітектури згорткової нейронної мережі з розподіленням ваг
Authors: Radiuk, P.M.
Радюк, П.М.
Keywords: convolutional neural networks;genetic algorithms;weight distribution;ablation study;згорткові нейронні мережі;генетичні алгоритми;розподілення ваг;абляція дослідження
Issue Date: 2020
Publisher: Хмельницький національний університет
Citation: Radiuk P. M. Application of a genetic algorithm to search for the optimal convolutional neural network architecture with weight distribution / P. M. Radiuk // Вісник Хмельницького національного університету. Технічні науки. – 2020. – № 1. – С. 7-11.
Abstract: In the past decade, a new way in neural networks research called Network architectures search has demonstrated noticeable results in the design of architectures for image segmentation and classification. Despite the considerable success of the architecture search in image segmentation and classification, it is still an unresolved and urgent problem. Moreover, the neural architecture search is also a highly computationally expensive task. This work proposes a new approach based on a genetic algorithm to search for the optimal convolutional neural network architecture. We integrated a genetic algorithm with standard stochastic gradient descent that implements weight distribution across all architecture solutions. This approach utilises a genetic algorithm to design a sub-graph of a convolution cell, which maximises the accuracy on the validation set. We show the performance of our approach on the CIFAR-10 and CIFAR-100 datasets with a final accuracy of 93.21% and 78.89%, respectively. The main scientific contribution of our work is the combination of genetic algorithm with weight distribution in the architecture search tasks that achieve similar to state-of-the-art results on a single GPU.
За останнє десятиліття новий спосіб дослідження нейронних мереж під назвою «Пошук мережевих архітектур» продемонстрував позитивні результати в розробці архітектур для сегментації та класифікації зображень. Незважаючи на значний успіх пошуку архітектур в задачах сегментації та класифікації зображень, він все ще є невирішеною і актуальною проблемою. Більше того, пошук архітектур нейронних мереж є також дуже витратим з точки зору обчислювальних ресурсів. У цій роботі пропонується новий підхід на основі генетичного алгоритму для пошуку оптимальної архітектури згорткової нейронної мережі. Ми інтегрували генетичний алгоритм зі стандартним стохастичним градієнтом, що реалізує розподіл ваг у всіх архітектурних рішеннях. Цей підхід використовує генетичний алгоритм для проектування частини графу в якості згорткового шару, що забезпечує максимальну точність на валідаційному наборі даних. У цій роботі ми демонструємо ефективність нашого підходу на наборах даних CIFAR-10 та CIFAR-100 з кінцевою точністю 93,21 % та 78,89 % відповідно. Основним науковим внеском нашої роботи є поєднання генетичного алгоритму з розподілом ваг в задачах пошуку архітектури, що досягає точності класифікацїі зображення з використанням одного графічного процесора близької до найсучасніших результатів.
URI: http://elar.khnu.km.ua/jspui/handle/123456789/8960
UDC: 004.93'12
metadata.dc.type: Стаття
Appears in Collections:Вісник ХНУ. Технічні науки - 2020 рік

Files in This Item:
File Description SizeFormat 
РАДЮК.pdf1,19 MBAdobe PDFThumbnail
View/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.