Common vs. Greatest Threat

GDC21: Die Tricks der guten Diplomatie-KI von Total War Three Kingdoms

PC
Bild von Jörg Langer
Jörg Langer 426733 EXP - Chefredakteur,R10,S10,C10,A10,J9
Dieser User hat an der Weihnachtsfeier 2019 teilgenommenDieser User hat uns zur Japan-Doku-2018 Aktion mit 50 Euro (oder mehr) unterstützt.Dieser User hat am GamersGlobal Grillfest 2018 teilgenommenDieser User hat am GamersGlobal Grillfest 2017 teilgenommenDieser User hat uns an Weihnachten 2017 mit einer Spende von 5 Euro unterstützt.Dieser User hat uns an Weihnachten 2016 mit einer Spende von 5 Euro unterstützt.Dieser User hat an der Weihnachtsfeier 2018 teilgenommenDieser User hat uns an Weihnachten 2014 mit einer Spende von 5 Euro unterstützt.Dieser User hat uns an Weihnachten 2015 mit einer Spende von 5 Euro unterstützt.Dieser User hat uns an Weihnachten 2012 mit einer Spende von 12 Euro unterstützt.Dieser User hat uns an Weihnachten 2010 mit einer Spende von 10 Euro unterstützt.Dieser User hat uns zur Dark Souls Remastered Aktion mit einer Spende von 50 Euro unterstützt.

20. Juli 2021 - 9:55 — vor 1 Woche zuletzt aktualisiert

Teaser

Bei Strategiespielen kritisiert oder lobt man gerne die "KI", oft ohne zu wissen, was genau man meint, oder welche KI-Systeme da zusammenwirken. Creative Assembly ließ sich in die KI-Karten schauen.
Dieser Inhalt wäre ohne die Premium-User nicht finanzierbar. Doch wir brauchen dringend mehr Unterstützer: Hilf auch du mit!
Total War - Three Kingdoms ab 45,24 € bei Amazon.de kaufen.

Bei einem Vortrag auf der GDC 2021 von zwei Mitgliedern des KI-Teams von Creative Assemblys Total War Three Kingdoms ging es zwar viel um "Problem Spaces" und Variablen und Gewichtung und Rechenzeitmanagement – was für mich alles weitgehend unverständlich blieb, aber doch auch um die praktische Umsetzung.

Was man dazu wissen sollte: Während "die KI" von Total War schon oft (von anderen ebenso wie von mir) kritisiert worden ist, besteht sie in Wahrheit aus mehreren Systemen, die im Idealfall perfekt ineinandergreifen. Die KI in den Echtzeit-Schlachten muss ganz andere Dinge können als die zur Armee-Bewegung auf der Strategiekarte. Und noch mal eine andere Nummer ist die Diplomatie-KI, die über Handels- und Bündnisvorschläge entscheidet und das generelle Verhalten (wen angreifen?) bestimmt. Just diese Diplomatie-KI ist bei Three Kingdoms sehr gelungen und wurde unter anderem auch im Test des Spiels 2019 von Rüdiger Steidle und mir gelobt (Total War Three Kingdoms im Test, Note 8.0)

Ich darf mich daraus selbst zitieren, um den abstrakten Punkt "Diplomatie-KI"  greifbarer zu machen:

Die für mich größte Verbesserung ist die Diplomatie: Wer sich die Mühe macht, sich ins Beziehungsgeflecht der Fraktionen und Allianzen hineinzuwursteln, wird die Mehrzahl der Angebote, Aktionen und Reaktionen der KI als sinnvoll empfinden. Das klingt für Uneingeweihte trivial, ist aber in Wahrheit etwas, an dem die meisten Strategiespiele (inklusive aller Total-War-Serienteile mit partieller Ausnahme des diplomatisch eingeschränkten Total War Warhammer) krachend scheitern. Nicht, dass es keine Logik-Ausfälle gäbe, aber sie sind viel seltener als früher.

Wie also ist es dem (relativ kleinen) KI-Team gelungen, mit dem bislang letzten erschienenen Haupt-Serienteil einen so großen Sprung zu machen? Das erläuterten nacheinander Duygu Cakmak (sie ist Project Technical Director bei Creative Assembly) und Csaba Toth (er ist Senior AI Designer) in ihrem GDC-2021-Vortrag im Rahmen des "AI Summits". Dabei gingen sie auch auf die eigentliche Zusammenarbeit zwischen zwei Gruppen ein: Den Codern auf der einen Seite, die unter Berücksichtigung von Performance und Rechenzeit-Belastung Tools entwickeln, und den KI-Designern auf der anderen Seite, die mit diesen Tools herumspielen um der KI die gewünschte Verhaltensweise "anzutrainieren". Statt also die KI fest zu verdrahten oder direkt im Programmcode anzulegen, handele es sich um datenbankbasierte KI – die Designer können direkt die Werte in der Datenbank ändern und damit herumprobieren.

Dementsprechend unterscheiden sich auch die Ziele für beide Gruppen, Coder wie Designer. Für Duygu Cakmak und ihr Team waren die wichtigen Ziele für die Diplomatie-KI:

  1. Die KI sollte sinnvolle und für sie (also die jeweilige Fraktion) positive Angebote (sei es ein Handelsdeal, ein Bündnis oder was auch immer) vorschlagen.
  2. Die Deals sollten sich unterscheiden (nach reiner KI-Logik wäre es hingegen oftmals sinnvoll, dem Spieler jede Runde erneut denselben Deal vorzuschlagen, auch wenn dieser jedes Mal ablehnt.)
  3. Die Entscheidungsfindung durfte nicht zu lange dauern, weil es sonst zu langen Wartezeiten bei der Zugberechnung käme.

Mit letzterem Punkt hatte einer der Zuseher (man konnte nebenher per Chat Fragen stellen) ein Verständisproblem: Eigentlich müsste doch aufgrund der rundenweisen Struktur des Spiels im Kampagnenmodus mehr als genug Zeit für die KI-Berechnung sein? Doch Cakmak führte aus, dass durch die fast 50 Fraktionen im Spiel pro Diplomatie-Runde zwischen 10.000 und 20.000 einzelne Deals berechnet werden müssten, was eine große Belastung für die Rechenzeit darstelle.

Wie sie und ihre Kollegen im einzelnen die drei Ziele bei der KI-Programmierung erfüllt haben, führt hier zu weit (ich habe auch nicht alles verstanden!), aber ein Beispiel: Bei Punkt 2 – also nicht immer denselben Deal vorzuschlagen – behalf man sich mit einer Art Timer. Der Code erinnert sich für eine vorgebbare Zahl von Spielrunden an bereits vorgeschlagene Deals. Weder werden diese dann solange neu berechnet (mit dem immer wieder fast identischen Ergebnis), noch dem Spieler erneut vorgeschlagen – eben, um ihn nicht zu nerven. Ebenso sei man von der gleichwertigen Berechnung aller Deals zu einem System übergegangen, wo nach einem Modul "datengetriebener Deal-Generation" ein zweites Modul der "priorisierten Deal-Evaluierung" folgt. Letzteres bedeutet grob gesagt, dass nicht jeder mögliche Deal wirklich ausgerechnet wird, sondern von oben nach unten die erfolgsversprechendsten/günstigsten. Da dem Spieler von jeder Fraktion maximal ein Vorschlag pro Runde gemacht wird, werden die vielen, vielen weiteren denkbaren Deals also zeitsparend erst gar nicht zu Ende berechnet.

Aufgrund seiner KI-Voreinstellungswerte verhält sich Cao Cao deutlich anders (und effektiver) als andere Fraktionen.


Klingt das alles arg theoretisch? Etwas näher an die Spielrealität rückte dann im zweiten Teil des Vortrags Csaba Toth, der mit seinen Kollegen aus dem "KI-Backend" dann erlebbare Fraktionen schneiderte.

Die Design-Ziele für die Diplomatie-KI waren für ihn und sein Team:

  1. Einzigartige Charaktere – die fast 50 KI-Fraktionen sollten unterschiedliche Verhaltensweisen an den Tag legen.
  2. Machtgruppen, die gegeneinander arbeiten (also Bündnissysteme der KI-Fraktionen untereinander beziehungsweise auch mit dem Spieler)
  3. Wechselnde Allianzen – Bündnisse halten nur solange, wie es den darin befindlichen Fraktionen für die eigenen Ziele zum Vorteil gereicht.
  4. Der Spieler muss Feedback bekommen, wieso die KI ihre Entscheidungen so trifft.

Bei den Charakteren war das Beispiel von Csaba Toth der berühmte Kriegsherr und Fraktionsführer Cao Cao. Durch seine Werte in bestimmten KI-Kategorien habe er ein besonders "auffälliges" Verhalten. Dieses stelle sich dem Spieler als paranoid, verschlagen und schlau dar. Cao Cao präferiere Intrigen statt purer Gewalt. Der Respektwert ist ihm egal (respect value 0 statt Default 0,4), also was andere Fraktionen von ihm halten. Dank seines Wertes 50 bei main_threat (Default: 8) würde er gegen seine "Hauptbedrohung" immer sofort losschlagen, und dank anderer Werte sehr aktiv versuchen, sich mit deren Feinden zu alliieren.

Wie genau die "Hauptbedrohung" (also welche Fraktion die größte Gefahr für die eigene darstellt) berechnet wird, führt hier zu weit, aber es fließen diverse Parameter wie Größe und Lage des kontrollierten Gebietes, Zahl der Armeen und andere ein.

Und da jede Fraktion eine Hauptbedrohung hat, ergeben sich daraus dann auch die "Power Groups", die Bündnisse aus Ziel 1, wobei hier dann noch zwischen dem "Common Threat" der ganzen Allianz (dies bleibt in der Regel eine andere Allianz und deren Hauptfraktion) und den individuellen "Main Threats" unterschieden wird – frei übersetzt: Was bringt mir der Kampf gegen den weiter entfernten Hauptfeind der Allianz, wenn direkt an meiner Grenze eine neue Bedrohung für mich speziell auftaucht?

Das wiederum führt fast automatisch zur Erfüllung des Ziels 3, nämlich den wechselnden Allianzen: Indem eine Power Group Erfolge oder Misserfolge feiert, können sich für ihre Mitglieder die indivdiuellen Bewertungen der Lage ändern. Hat beispielsweise eine Fraktion außerhalb der eigenen Allianz der denselben Main-Threat wie man selbst, steigt deren "Utility Value", die Nützlichkeit. Dass kann dazu führen, dass man sich mit dieser verbünden will als KI-Fraktion, und dafür die bisherige Allianz verlässt. Es kann auch passieren, dass die Spielerfraktion zum Main-Threat für die Mehrzahl der Allianz-Mitglieder wird. Dann werden sie ihre individuellen Vereinbarungen mit dem Spieler (also Handelsabkommen und Co.) auslaufen lassen und versuchen, ihn aus der Allianz zu werfen.

Das alles funktioniert auch ziemlich gut, allerdings führt das dann doch zu einem Problem, dass in einem kurzen Video auch gezeigt wurde (wenngleich nicht als Problem thematisiert), siehe auch das Aufmacherbild dieses Artikels: Toth führte uns das "CAT" vor, das interne "Campaign Analyser Tool", mit dem Creative Assembly ihre KI-Fraktionen gegeneinander kämpfen lässt und auf grober Ebene (Provinzkontrolle und Armeebewegungen) verfolgen kann, was in einer solchen KI-Partie passiert. Man sah, wie sich Cao Caos Fraktion ausdehnte, auf einen starken Gegner im Süden stieß, sich dann mit einer Fraktion im Nordosten verbündete, und dann gemeinsam mit dieser den starken Gegner regelrecht pulverisierte – bis dieser so schwach geworden war, dass plötzlich der Verbündete aus dem Nordosten zum Main-Threat wurde für Cao Cao, der sich dann, und damit endete die Aufzeichnung, gegen diesen wandte.

Das mag alles sinnvoll sein, führt aber im Zweifel dazu, wie auch ein Zuseher bemerkte, dass die KI Kriege eher nicht bis zum endgültigen Sieg führt, sondern sich immer wieder umorientiert. So ist es weniger wahrscheinlich, dass es im Late Game einen großen, monolithischen Gegnerblock für den Spieler gibt, der in aller Regel anders verfährt und schwachen Gegnern vollends den Gnadenstoß gibt. Wo nichts mehr lebt, kann auch nichts widererstarken und einem später in den Rücken fallen...

Noch zum letzten Punkt, der vielleicht der wichtigste ist: das Feedback an den Spieler. Das macht Three Kingdoms tatsächlich viel konsequenter als die Vorgänger, so sieht man bei jeder vorgeschlagenen Transaktion (von einem selbst oder der KI) exakt den abstrakten Wert, der dem Deal zugeschrieben wird. Will man also Rohstoff-Lieferungen für ein Jahr gegen eine Stadt tauschen, kann man bis auf die Nachkommastelle sehen, was für ein (aus Sicht der KI!) faires Angebot noch fehlt. Das nimmt einerseits ein wenig die Magie raus, tut aber wirklich sehr viel dafür, dass man die Aktionen der KI nicht als willkürlich empfindet. Die Schwierigkeit dabei ist natürlich, wie Toth zum Schluss ausführte, dem Spieler weder zu wenig Information zu geben noch zu viel.

Ihr merkt schon, ich fand den Vortrag ziemlich interessant, auch wenn ich nicht alles verstanden habe, einfach weil bereits Fachwissen ("Problem Space" und Co.) vorausgesetzt wurde. Was ich aber verstand, das deckte sich mit meinen Beobachtungen in Total War Three Kingdoms: Die Diplomatie-KI funktioniert darin gut und menschenähnlich, und jetzt weiß ich auch, warum. In der Tat ist in diesem Teilbereich die KI "dynamic and sensible", wie es Csaba Toth behauptet.

Nur hoffe ich, dass Creative Assembly ein ähnlicher Fortschritt bald auch bei der Kampf-KI gelingt – und dass ihre Silizium-Fraktionen auf höheren Schwierigkeitsstufen weniger auf Cheats wie Unterhaltskostenvorteile oder geschenkte Truppen/Ressourcen setzen, als sie das auch in Three Kingdoms immer noch machen.

Jörg Langer Chefredakteur - P - 426733 - 20. Juli 2021 - 9:55 #

Viel Spaß beim Lesen!

rammmses 20 Gold-Gamer - - 25776 - 20. Juli 2021 - 11:26 #

Bei Civilization hatte man doch mal einen Wert falsch gesetzt, was dazu führte, dass Gandhi sofort Atombomben auf alles geworfen hat, das war so lustig, dass man den KI-Bug drin gelassen hat.

Jürgen 25 Platin-Gamer - P - 61929 - 20. Juli 2021 - 13:54 #

Lies mal das Buch von Sid Meier. Da geht er auch auf diese schöne Legende ein und versucht, ihren Ursprung zu ergründen.
Jedenfalls sagt er selbst, dass die ganze Geschichte nicht stimmt.

rammmses 20 Gold-Gamer - - 25776 - 20. Juli 2021 - 20:24 #

Ja das weiß ich sogar, aber glaube ihm nicht so richtig, dass das Absicht war :D

Kühlschrankmagnet 10 Kommunikator - 395 - 20. Juli 2021 - 15:57 #

Sehr informativer Artikel, der mir schön anschaulich tatsächliche Systeme und maßgeschneiderte Problemlösungen erklärt, die hinter dem oft nur wattig verwendeten Ausdruck "die KI" stecken. Ich bin an solchen Themen interessiert, blocke bei zu fachspezifischen Ausführungen hingegen rechtzeitig genug ab, um mir mein unbeschwertes Laiendasein zu erhalten - daher hatte der Text die für mich ideale Länge.

Derartige Betrachtungen zu den konzeptionellen und technologischen Gegebenheiten meines Hobbies würde ich hier gern noch viel häufiger lesen, auch wenn die Anzahl der (bisherigen) Kommentare leider nicht auf ein mir darin ähnliches Massenpublikum schließen lässt. Traut euch. Lest und kommentiert.

Jörg Langer Chefredakteur - P - 426733 - 20. Juli 2021 - 17:25 #

Ach, vielleicht muss man die Leute einfach anfixen. Es kommen ja noch einige Beiträge zur GDC diese/nächste Woche, darunter auch zwei lange Reports auf Grundlage gleich mehrerer Vorträge (zu Last Of Us 2 und Ghost of Tsushima).

schlammonster 30 Pro-Gamer - P - 222144 - 21. Juli 2021 - 12:04 #

Dem kann ich mich vollumfänglich anschließen, wie ich auch schon unter Dennis Beitrag kommentierte :)

Ole Vakram Nie 17 Shapeshifter - P - 6634 - 22. Juli 2021 - 0:29 #

Da bin ich gleich mit magnetisiert und stimme zu!

Harry67 19 Megatalent - - 19924 - 22. Juli 2021 - 5:44 #

Da kann ich nur zustimmen. Ich fands auch sehr interessant.

LRod 18 Doppel-Voter - P - 11738 - 20. Juli 2021 - 17:59 #

Sehr spannend, vielen Dank! Gerade für mich als Fan der Serie (jedenfalls der Warhammer- und der asiatischen Teile) wären das doch sehr interessante Einblicke.

Ich freue mich auf Warhammer 3!

Der Marian 21 Motivator - P - 26946 - 20. Juli 2021 - 20:09 #

Gut zusammengefasst und sehr interessant.

COFzDeep 22 AAA-Gamer - - 31775 - 20. Juli 2021 - 22:15 #

Sehr schöner Artikel, macht vor allem auch Lust auf das Spiel um diese offenbar sehr gelungene Diplomatie-KI mal selbst zu erleben. Meine letzten Runden Civ 5 hab ich diesbezüglich in nicht so guter Erinnerung...

BruderSamedi 18 Doppel-Voter - P - 9347 - 21. Juli 2021 - 12:22 #

Sehr interessant, gerne mehr davon!
Etliche (alte) GDC-Talks findet man ja auch auf Youtube; ich lerne gerne Details über die Abläufe in Spielen "hinter dem Vorhang".

Jürgen 25 Platin-Gamer - P - 61929 - 21. Juli 2021 - 13:27 #

Sehr coole Artikel-News. Danke dafür. Ich finde solche Einblicke immer unglaublich spannend.

xan 18 Doppel-Voter - P - 11197 - 21. Juli 2021 - 20:11 #

Schöner Einblick, vielen Dank.

Danywilde 24 Trolljäger - - 116313 - 22. Juli 2021 - 14:28 #

Mir gefallen solche Hintergrundinformationen immer sehr gut. Ich würde mir sehr über mehr davon freuen.