Navržený algoritmus hluboké neuronové sítě je zobecněním učícího algoritmu zpětného šíření chyby (BPA) na větší počet skrytých vrstev neuronové sítě (hloubka sítě), doplněný zároveň o algoritmus dopředného předučení (hloubkové učení) neuronové sítě na základě nad sebou vrstvených autokodérů. Hloubka sítě je v řádu desítek a více vrstev, pro trénování se používá algoritmus zpětného šíření chyby. Trénování probíhá ve dvou fázích, tj. nejprve předučení sítě dopředným směrem, např. pomocí autoenkodérů (učení bez učitele), a poté doučení sítě zpětným směrem (učení s učitelem), eliminuje se tak tlumení zpětného šíření chyby. Síť bude použita k odhadu spolehlivosti energetických zařízení.
Test algoritmu byl proveden na hluboké neuronové síti o deseti vrstvách s deseti neurony ve vrstvě, pouze ve výstupní vrstvě byly jen 3 neurony. Účelem sítě měla být klasifikace objektů, popsaných deseti atributy, z hlediska tří kategorií.
Samotný algoritmus probíhal výše uvedeným postupem. Nejprve se síť adaptovala zobecněným učícím algoritmem zpětného šíření chyby (BPA). Následovaly fáze hloubkového učení: předučení a doučení. Nejprve došlo k přeučení jednotlivých vrstev vah od 1. do 4. vrstvy, od 1. do 5. vrstvy atd. až od 1. do 9. vrstvy, a to na autoasociativní funkci sítě o dvou vrstvách vah, z nichž první vrstva byla vždy příslušná skutečná vrstva původní sítě a druhá vrstva byla vždy dodatečně přidaná fiktivní vrstva z důvodu zkompletování příslušných postupně nad sebe řazených dvouvrstvých autokodérů. Následné doučení probíhalo stejným postupem.
Výsledky ukazují, že optimálním, z hlediska minimalizace počtu předučovaných vrstev vah, se jeví předučení první až páté vrstvy vah, od které se váhy směrem k poslední deváté vrstvě pak již dostatečně mění.
Ke stažení:
Výsledek vznikl za finanční podpory Technologické agentury České republiky v rámci projektu č. TK04020003.
