SoCreate unterstützt lokale Technikunternehmen: der Deep-Reinforcement-Learning-Workshop

Bei SoCreate ist es eine Tradition, Technik-Unternehmen in San Luis Obispo zu unterstützen. Ein Grund ist, dass wir lebenslanger Lerner sind und man so viel voneinander lernen kann! Zudem wollen wir die Technikbranche in SLO wachsen sehen, da uns dies hilft, ein noch talentierteres Team aufzubauen! Als also zwei Experten in ihrem Feld einen PyData-SLO-Workshop zum Thema Deep Reinforcement Learning anboten, haben wir für die Pizza gesorgt! Wir haben zudem dieses März-Meeting in unserem SoCreate-Büro veranstaltet. SoCreates Softwareentwickler John Jensen nahm teil und hat uns berichtet.

Laura Grasser von Google Brain und Keng Wah Loon von Machine Zone kamen aus der Bay Area nach SLO, um den Workshop über Deep RL abzuhalten. Das ist ein allgemeines Framework, das angewendet werden kann, um sequentielle, entscheidungsbasierte Optimierungsprobleme (denk an Videospiele wie Go und Atari) durch Versuch-und-Irrtum zu lösen. Du könntest Deep RL in Aktion gesehen haben, als es 2015 in die Schlagzeilen kam. Damals hat das Computerprogramm AlphaGo den weltberühmten ‚Go‘-Spieler und Europameister Fan Hui geschlagen. AlphaGo gewann in Seoul, Südkorea mit 4:1, während 200 Millionen Menschen zusahen und von den einfallsreichen und erfolgreichen Zügen des Programms lernten.

Beim PyData-SLO-Workshop erklärten Laura und Keng die Grundlagen von RL, die Definitionen der Funktionen, die ein RL-System ausmachen, und die verschiedenen Kategorien der Deep-RL-Algorhithmen. „Wir haben die beiden wichtigsten Algorhithmen ausführlich besprochen und diese dann in einer sehr einfachen Testumgebung im SLM-Lab angewandt“, sagte John. SLM-Lab, das von Laura und Keng geschrieben wurde, ist ein modulares Deep-Reinforcement-Learning-Framework in PyTorch. „Die Vortragenden haben uns die Algorithmen und Funktionen detailliert erklärt und beschrieben, wie sie auf einem intuitiveren Level funktionieren.“

John sagte, am beeindrucksten war er von Laura und Kengs Demo eines vortrainierten Algorithmus (vortrainiert, da es einen ganzen Tag dauern kann, auf dem Laptop zu trainieren), der gelernt hat, Atari Breakout zu spielen. „In einem Reinforcement-Learning-System führt ein Agent Handlungen aus, um seine Umgebung zu beeinflussen, einen Schritt nach dem anderen. Bestimmte Aktionen belohnen den Agenten“, erklärte John und fügte hinzu, dass RL oft angewendet wird, um einem System ein Spiel beizubringen. Das System muss nicht die Regeln des Spiels kennen. Es muss nur den Bildschirm sehen, eine Liste der Handlungen haben, die es ausführen darf, und eine Definition der Belohnung. „Indem das System das Spiel immer wieder spielt, Tausende oder Millionen Male, lernt es, seine Belohnung zu maximieren und erlangt dadurch hervorragende Fähigkeiten.“

PyData SLO ist eine Bildungsorganisation, die sich auf Data Science mit Python konzentriert. Sie bringt Python-Nutzer aus dem akademischen und industriellen Bereich in SLO zusammen, um Ideen zu präsentieren, zu teilen und in Workshops zu vertiefen. Die abgesteckten Bereiche sind unter anderem: Data Science, wissenschaftliches Rechnen, maschinelles Lernen und verteiltes Rechnen. Wir freuen uns, dass PyData Experten wie Laura Graisser und Keng Wah Loon für Workshops wie diese zu SoCreate bringt!

Willst du mehr über die nächsten Themen und Veranstaltungsorte für Treffen wissen?