AlphaStar: KI schlägt erstmals professionelle Starcraft-2-Spieler

PC MacOS
Bild von akoehn
akoehn 6247 EXP - 17 Shapeshifter,R3,S1,A1,J6
Alter Haudegen: Ist seit mindestens 5 Jahren bei GG.de registriertDieser User war an Weihnachten 2017 unter den Top 200 der SpenderDieser User hat uns an Weihnachten 2017 mit einer Spende von 25 Euro unterstützt.Dieser User hat uns an Weihnachten 2017 mit einer Spende von 10 Euro unterstützt.Dieser User hat uns zur Japan-Doku-2018 Aktion mit 5 Euro (oder mehr) unterstützt.Dieser User hat uns zur Japan-Doku-2018 Aktion mit 50 Euro (oder mehr) unterstützt.Alter Haudegen: Ist seit mindestens 3 Jahren bei GG.de registriertLoyalist: Ist seit mindestens einem Jahr bei GG.de dabeiKommentierer: Hat 100 EXP mit Comments verdientBronze-Jäger: Hat Stufe 5 der Jäger-Klasse erreichtProfiler: Hat sein Profil komplett ausgefülltDieser User hat uns an Weihnachten 2018 mit einer Spende von 100 Euro unterstützt.

25. Januar 2019 - 14:44 — vor 29 Wochen zuletzt aktualisiert
Starcraft 2 - Wings of Liberty ab 20,50 € bei Amazon.de kaufen.

Das zu Google gehörende Unternehmen DeepMind hat erstmalig eine KI namens AlphaStar vorgestellt, die professionelle Starcraft 2-Spieler in 1vs1-Spielen schlagen konnte. In Test-Spielen gegen Grzegorz "MaNa" Komincz und Dario "TLO" Wünsch von Team Liquid konnte sich die KI jeweils mit fünf zu null durchsetzen.

Eine Starcraft-2-KI zu entwickeln ist aufgrund der sehr großen Anzahl an Aktionsmöglichkeiten zu jedem Zeitpunkt sehr komplex. Im Gegensatz zu vorherigen Ansätzen kommt AlphaStar ohne von Hand geschriebene Regeln aus und besteht vollständig aus neuronalen Netzen. Sie lernt stattdessen – wie schon zuvor AlphaGo – zuerst, menschliche Spieler nachzuahmen. Hierbei wird die KI darauf trainiert, Aktionen von aufgezeichneten Spielen zwischen Menschen vorherzusagen. Nach diesem Grundtraining spielen verschiedene Versionen der KI gegeneinander und werden mittels Reinforcement Learning optimiert, wobei zu der Optimierung verschiedene neu entwickelte Ansätze genutzt wurden (der unter dieser News verlinkte Blog-Artikel beschreibt die Architektur im Detail). Die KI wurde auf einer einzelnen Karte trainiert und hat auch nur auf dieser gespielt.

Die von der KI genutzte frei verfügbare Schnittstelle stellt nur die Informationen zur Verfügung, die auch ein menschlicher Spieler sehen könnte, allerdings ist die KI nicht auf einen Bildschirmausschnitt begrenzt. Um zu ermitteln, ob die Stärke der KI in diesem erhöhten Überblick liegt, wurde eine Version entwickelt, die durch einen künstlichen Bildschirmausschnitt limitiert wurde. Auch diese Version war in der Lage, auf sehr hohem Niveau zu spielen. Interessanterweise führt AlphaStar sogar weniger Aktionen pro Minute aus als professionelle Gegner. Nicht menschlich hingegen war die Zeit, die die KI zum Lernen genutzt hat: Jede Version der KI spielte bis zu 200 Jahre Starcraft 2 – wenn die Spiele in Echtzeit gespielt worden wären.

Zu dem Spielstil von AlphaStar sagte Grzegorz "MaNa" Komincz, dass er beeindruckt von den verschiedenen Strategien und dem menschenähnlichen Spielstil gewesen sei. Er habe gemerkt, dass seine Strategien darauf basierten, menschliche Fehler auf der Gegenseite zu provozieren und dass die Spiele gegen die KI Starcraft 2 in neuem Licht erscheinen ließen. Ihr könnt euch die Replays der Spiele von AlphaStar gegen TLO und MaNa auf deepmind.com herunterladen und euch selber ein Bild des Spielstils machen. Zudem steht euch das nachvolgende Video zur Verfügung.

Video:

Faerwynn 18 Doppel-Voter - P - 10160 - 25. Januar 2019 - 13:29 #

Sehr interessant. Spannend wäre jetzt, andere jüngere Erkenntnisse auszuprobieren, wie dass trainierte neuronale Netzwerke oft anfällig sind, wenn sie unsinnige Informationen bekommen. Also z.B. eine Bilderkennung, die Bildinhalte beschreiben kann gerät völlig aus dem Tritt, wenn ein rosa Elefant mitten im Raum schwebt. Vielleicht kann man die KI aus dem Tritt bringen, indem man unsinnige Spielsituationen erzeugt.

Bei Warcraft III haben ein Freund und ich manchmal aus Spaß mit Nachtelfen gespielt, nur den Demon Hunter als Hero gebaut und unzählige Moon Wells. Damit konnte man viele Gegner völlig irritieren und nicht selten besiegen, obwohl sie eigentlich bessere Karten hatten. An sowas denke ich da :)

akoehn 17 Shapeshifter - - 6247 - 25. Januar 2019 - 13:38 #

Ich denke, dass das System aufgrund der Art wie es trainiert ist, sehr robust gegenüber "sinnlos" spielenden Menschen ist. Die Systeme haben viel mehr Spiele gegeneinander gespielt als jeder Mensch und der populationsbasierte Trainingsansatz stellt sicher, dass hierbei gegen eine Vielzahl von Strategien gespielt wurde.

Das Problem in der Bilderkennung ist genau das der fehlenden Generalisierbarkeit, siehe meinen anderen Kommentar. Auf der Trainingsdomäne funktioniert alles gut, bei anderen dann deutlich schlechter. Das liegt an der hohen Korrelation zwischen verschiedenen Features, z.B. stehen Schafe eigentlich immer auf grünen Wiesen und mangels allgemeinem Weltwissen werden damit Schafe mit grünen Wiesen (also den grünen Pixeln im Bild) verkknüpft. Sind die Schafe auf Bäumen, erkennt der Algorithmus sie nicht. Das ist auch kein Problem von neuronalen Netzen im Speziellen sondern von allen gelernten Klassifikatoren.

akoehn 17 Shapeshifter - - 6247 - 25. Januar 2019 - 13:33 #

Und hier meine persönliche Meinung dazu: Diese Forschung ist aus wissenschaftlicher Sicht sehr beeindruckend. Man muss bedenken dass in dieses Projekt Jahre an Forschung geflossen sind; wer sich über die schlechte KI in Strategiespielen beschwert sieht hier wie schwer es ist, eine wirklich gute KI zu bauen/trainieren.

Das Hauptproblem mit allen aktuellen Ansätzen im Bereich Machine Learning ist, dass sie sehr viele Daten brauchen um gut zu werden -- dieses System brauchte mehrere tausend Jahre Spielzeit um auf Weltklasseniveau zu kommen. Ähnlich sieht es mit Problemen in der Sprach- und Bildverarbeitung aus. Wir können sehr gute Systeme bauen, Systeme zu bauen die mit wenigen Daten zum Training auskommen ist aber ein immer noch offenes Problem und Gegenstand aktueller Forschung.

Es ist auch noch nicht klar, wie generalisierbar das gelernte Modell ist: vermutlich ist es aktuell nicht in der Lage, auch auf anderen als der einen trainierten Karte zu spielen. Genau dieses Problem der Generalisierbarkeit findet man überall im ML-Bereich.

Sp00kyFox 19 Megatalent - 13544 - 25. Januar 2019 - 15:28 #

absolut, weiß auch nicht ob neuronale netzwerke umbeding der weisheit letzter schritt sind. die sind die letzten jahre ja so populär geworden, weil man sie endlich in einem entsprechenden maßstab überhaupt vernünftig nutzen konnte. vorher war das ja eher ein theoretisches konzept. aber dieses konstrukt hat auch klare grenzen.

die enorme trainingsdauer ist zB sehr auffallend. damit ein menschlicher spieler auf ein kompetitiven niveau kommt, sind deutlich weniger partien nötig. dazu wäre wohl ein "tatsächliches verständnis" von einem regelwerk notwendig, damit das schneller geht. so tapsen ja reinforcement algorithmen eher im dunkeln herum.

akoehn 17 Shapeshifter - - 6247 - 25. Januar 2019 - 15:50 #

Dass neuronale Netze früher weniger "in" waren als jetzt liegt nicht primär an ihrer Geschwindigkeit (ich weiß nicht ob du das meinst, aber manche könnten es so interpretieren). Andere Ansätze wir Support Vector Machines konnten einfach bessere theoretische Zusicherungen geben. Dass hier jetzt so viel Rechenzeit verbraucht wird liegt primär an der enormen Komplexität des Problems. Es ist z.B. auch deutlich schneller Architekturen zu nutzen mit denen man eine Optimierung mittels eines neuronalen Netzes durchführt als mit einem Integer Linear Program. Die Fortschritte kommen primär dadurch, dass man durch Forschung immer besser versteht, wie man Zusammenhänge gut mathematisch formulieren kann; mit besseren Formulierungen bekommt man bessere und effektiver zu trainierende Netze.

Das Problem des "tatsächlichen Verständnisses" findet man in der Literatur (und im Netz) unter "inductive bias".

Sp00kyFox 19 Megatalent - 13544 - 25. Januar 2019 - 16:00 #

doch, ich meine das so. durch die heutige rechenleistung ist es erst praktikabel geworden neuronale netzwerke auf entsprechend komplexe problemklassen anzuwenden. und ja, damit meine ich natürlich die lernphase und nicht die eigentliche ausführung. durch programmierbare GPU-shader hat das konzept einen enormen boom und hype erlangt, in dessen zuge man sich dann auch wieder mehr mit der theorie beschäftigt hat. lange zeit lag das konzept doch brach, weil es bis auf problemklassen mit überschaubaren datenmengen und komplexität nicht nutzbar war. immerhin ist das konzept an sich schon seit über 50 jahren bekannt.

akoehn 17 Shapeshifter - - 6247 - 25. Januar 2019 - 16:57 #

Die Rechenleistung ermöglicht es jetzt, überhaupt diese Probleme anzugehen -- mit anderen Ansätzen hätte man das früher auch nicht hinbekommen.

Ja, programmierbare shader hatten einen relevanten Einfluss. Sie sind aber nicht der einzige Grund für diese Entwicklung -- und passende Grafikkarten gibt es auch schon seit fast zehn Jahren. In "meinem" Bereich (NLP) sind zudem viele Probleme die mit DNNs gelöst werden auf CPUs genauso schnell wie auf GPUs, was einfach an der Struktur der Probleme liegt. Ebenfalls relevant für die Beschleunigung der Forschung ist die Kommodisierung durch bessere Bibliotheken, welche den Einstieg z.B. durch autograd-Funktionalität extrem erleichtern.

Das "Konzept an sich" ist mitnichten seit über 50 Jahren bekannt. Ja, Rosenblatt (1958) hat das Perceptron eingeführt. Die Trainingsmethode war aber eine ganz andere. Dank Minsky & Papert (1969) wurde aber nicht relevant weiter am Perceptron geforscht. Das änderte sich dann erst wieder mit dem Aufkommen des Backpropagation-Algorithmus. Für die Leistung von AlphaStar sind viele weitere Forschungsprobleme relevant, die man nicht einfach auf "jetzt haben wir mehr Leistung" schieben kann, z.B. die Transformer-Architektur (Vaswani et al. 2017), das bessere Verstehen des vanishing gradient Problems (z.B. Hochreiter & Schmidthuber 1997), verschiedene Forschungsergebnisse im Reinforcement Learning (was erstmal nichts mit neuronalen Netzen zu tun hat) etc.

Sp00kyFox 19 Megatalent - 13544 - 25. Januar 2019 - 18:06 #

da missverstehst du mich. es war auch nicht gemeint, dass man diese problemklassen vorher hätte angehen könnte. der rummel um neuronale netzwerke ist eben auch bedingt durch ihren generellen ansatz, ohne dass man dazu selbst über eine vorstellung haben muss, wie eine lösung aussehen sollte. was allerdings auch ein problem darstellt, weshalb ich da persönlich den vermeintlichen fortschritt auch kritisch sehe. da ist imo ein zu großer fokus drauf für eine schlussendliche sackgassen-technologie.

und genau auf diesen zeitraum, also etwa 10 jahre, habe ich angespielt. das meinte ich damit als ich von die letzten jahre sprach.

diese entwicklungen sind mir bekannt. ich will jetzt auch keine wortklauberei mit dir vom zaun brechen. das grundkonzept, der ansatz, wie du es auch gerne nennen möchtest, ist nun mal ein alter hut, der aber erst jetzt richtig zum tragen kommt. klar, dass er jetzt im zuge der praktischen anwendung auch theoretisch erweitert wird.

akoehn 17 Shapeshifter - - 6247 - 26. Januar 2019 - 17:35 #

Zumindest bei der mir bekannten Forschung wissen die Leute schon ziemlich genau, was sie warum machen und analysieren auch; deinen Pessimismus teile ich so nicht.
Es gibt viele Gründe für den Erfolg von neuronalen Netzen, einer ist die dichte (d.h. niedrigdimensionale) Darstellung.

Von vermeintlichem Fortschritt zu sprechen ist ein bisschen so als ob man sagen würde, der Transistor sei ja schon lange bekannt und der Rest sei nur Anwendung ;-)

guerillero 11 Forenversteher - P - 569 - 25. Januar 2019 - 14:04 #

"Um zu ermitteln, ob die Stärke der KI in diesem erhöhten Überblick liegt, wurde eine Version entwickelt, die durch einen künstlichen Bildschirmausschnitt limitiert wurde. Auch diese Version war in der Lage, auf sehr hohem Niveau zu spielen"

Heißt das, dass diese Spiele von der KI verloren wurden?

akoehn 17 Shapeshifter - - 6247 - 25. Januar 2019 - 14:12 #

Ja, das war ein einziges Spiel. Zudem wurde diese Version der KI kürzer trainiert als die anderen.

Zur Natürlichkeit muss man auch noch sagen, dass die durchschnittliche Anzahl der Aktionen zwar niedriger als die von menschlichen Spielern war, sie aber zwischendurch mehr als 1500 Aktionen pro Minute ausgeführt hat.

guerillero 11 Forenversteher - P - 569 - 25. Januar 2019 - 15:48 #

Dann ist das nicht wirklich mit einem menschlichen Spieler vergleichbar, da bei Übersicht und Eingabehäufigkeit deutliche Vorteile bestehen.

akoehn 17 Shapeshifter - - 6247 - 25. Januar 2019 - 15:53 #

Zudem können Befehle auch deutlich genauer gegeben werden, da die analoge Schnittstelle Gehirn->Maus fehlt.

Nichtsdestotrotz ist es sehr beeindruckend und die KI ist so deutlich menschenähnlicher (und besser!) als so ziemlich jede andere RTS-KI.

Henmann 15 Kenner - P - 2837 - 25. Januar 2019 - 16:25 #

Ich finde das irgendwie gruselig...

Q-Bert 19 Megatalent - P - 13615 - 25. Januar 2019 - 16:50 #

Brauchst du nicht.

Erst wenn eine KI sagt "Hey, ich hab heute echt keine Lust auf StarCraft! Ich will lieber chillen und mir nen Actionstreifen reinziehen!!" würde ich anfangen mir Sorgen zu machen...

Noodles 24 Trolljäger - P - 54422 - 25. Januar 2019 - 16:54 #

Aber auch nur, wenn sie sich dann Terminator aussucht. ;)

Elfant 21 Motivator - P - 30802 - 25. Januar 2019 - 17:29 #

Ist Matrix jetzt soviel besser? Nur um mal im Mainstream zu bleiben.

Q-Bert 19 Megatalent - P - 13615 - 25. Januar 2019 - 17:43 #

I'm sorry Dave, I'm afraid i can't answer that question.

Dennis Hilla Redakteur - P - 80099 - 25. Januar 2019 - 17:20 #

Skynet anybody?

Vollmeise 20 Gold-Gamer - 23641 - 25. Januar 2019 - 17:27 #

Die Anfänge sind vorhanden.

Q-Bert 19 Megatalent - P - 13615 - 25. Januar 2019 - 17:42 #

SKYNET gibt es doch längst:
https://en.wikipedia.org/wiki/SKYNET_(surveillance_program)

Das ist eine KI, die von der NSA dazu benutzt wird, Terrorverdächtige zu identifizieren - und dann per Dronenbeschuss zu töten. Ja, richtig gelesen: Hier tötet quasi eine KI echte Menschen und die Amis nennen das Ding auch noch Skynet...

COFzDeep 20 Gold-Gamer - P - 24095 - 25. Januar 2019 - 18:03 #

Es ist doch irgendwie doof, dass ausgerechnet die schlechten Vorhersagen immer Wirklichkeit werden... kann ich bitte die Tür ins Paralleluniversum finden, in dem dann nur die guten Dinge passieren? Sowas wie "GamersGlobal hat 20.000 Premiumenten"... das wäre doch Mal schön ^^

Labrador Nelson 30 Pro-Gamer - P - 141425 - 26. Januar 2019 - 4:33 #

Das gibts sicher schon in irgendeinem Paralleluniversum. Ist ne Sache der Wahrscheinlichkeit. Wir hier haben halt Pech. ;)

Elfant 21 Motivator - P - 30802 - 26. Januar 2019 - 10:05 #

Ich weiß nicht. Eine Welt der Hitler und Stalin die Welt unter sich aufgeteilt hätten, erscheint mir wenig verlockend. Oder eine Welt in der es keinen Hitler gab und der Zweite Weltkrieg sagen wir 10 Jahre später mit Atomwaffen geführt wurde...
So schlecht haben wir es also nicht getroffen.

Q-Bert 19 Megatalent - P - 13615 - 26. Januar 2019 - 17:21 #

WIR sowieso nicht, denn unsere Generation lebt imho in der besten Welt, die es auf unserem Planeten in den letzten 4,5 Milliarden Jahren gab.

Vielleicht sogar in der besten Welt, die es je geben wird - denn so weitergehen wird es sicher nicht (können). Daher denke ich, wir sind die Peak-Generation, besser wird's nicht mehr und nach uns die Sintflut :)

crux 16 Übertalent - 4152 - 25. Januar 2019 - 18:33 #

Bei den Schach- und Go-AIs heisst es schon "I'll be Black".

Drapondur 30 Pro-Gamer - - 134311 - 25. Januar 2019 - 21:02 #

Da habe ich auch dran gedacht. Irgendwie erschreckend.

Vollmeise 20 Gold-Gamer - 23641 - 25. Januar 2019 - 17:27 #

Das Ende ist nah!

Harry67 18 Doppel-Voter - - 10263 - 25. Januar 2019 - 22:47 #

Ich bin gerade fertig mit Horizon Zero Dawn und glaube ich kann dich beruhigen - also irgendwie.

TheRaffer 19 Megatalent - - 18588 - 25. Januar 2019 - 20:13 #

Tja und wenn nun jemand so eine KI auf "Erde" trainiert und ihr Einheiten gibt, die wirklich genau das tun, was sie will... :P

MachineryJoe 17 Shapeshifter - P - 6815 - 25. Januar 2019 - 22:33 #

Ich sehe das immer noch skeptisch. So gut man spezielle Bereiche mit einer KI mittlerweile abdecken kann, so weit weg ist man noch von einem so vernetzten, parallel arbeitenden Wunderwerk, wie unserem Hirn, das technisch auf Ebene jeder einzelnen Synapse so viel langsamer, aber in der Gesamtheit so viel leistungsfähiger und flexibler ist und dabei sogar mit einem festen überlebensnotwendigen Grundstamm an Werten geboren wird.

Schon bei ganz "normalen" Dingen der Natur scheitern wie, es nachzuahmen. Jede Pflanze materialisiert Verbindungen wie Holz oder Fruchtfleisch aus dem Kohlendioxid der Luft mit Hilfe einiger Spurenelemente und etwas Sonnenenergie. Wir können gerade mal Plastik aus Öl herstellen. Von einem Kohlendioxid-3D-Drucker sind wir unglaublich weit entfernt, im Gegenteil, die Regierungen erklären das sogar zum Schadstoff, den man vermeiden müsste.

Ähnlich stümperhaft bewegen wir uns auf dem Weg zu einem virtuellen Bewusstsein. Dennoch ist es lustig, dabei zuzusehen.

Tasmanius 20 Gold-Gamer - - 22822 - 26. Januar 2019 - 22:17 #

Wir hatten aber auch noch keine Jahrmillionen Zeit, unsere Technologie weiterzuentwickeln :-)

Novachen 19 Megatalent - 14391 - 28. Januar 2019 - 0:37 #

Passiert ja auch nicht mehr. Apophis schlägt schon 2068 ein. Da ist dann Schicht im Schacht.

Es sei denn es gibt bis dahin SG-1 ^^

Tasmanius 20 Gold-Gamer - - 22822 - 28. Januar 2019 - 6:49 #

Apophis' kumulierte Einschlagwahrsscheilichkeit bis 2105 liegt bei 9e-6. Ich würde auch langsam anfangen in Panik zu geraten ;-)

TheRaffer 19 Megatalent - - 18588 - 29. Januar 2019 - 19:15 #

Ich gerate erst in Panik bei einer Chance von 1 zu 1 Million! ;)

Tasmanius 20 Gold-Gamer - - 22822 - 29. Januar 2019 - 21:50 #

Dann lauf Forrest, lauf!