GDC21: Die Tricks der guten Diplomatie-KI von Total War Three Kingdoms

Bei einem Vortrag auf der GDC 2021 von zwei Mitgliedern des KI-Teams von Creative Assemblys Total War Three Kingdoms ging es zwar viel um "Problem Spaces" und Variablen und Gewichtung und Rechenzeitmanagement – was für mich alles weitgehend unverständlich blieb, aber doch auch um die praktische Umsetzung.

Was man dazu wissen sollte: Während "die KI" von Total War schon oft (von anderen ebenso wie von mir) kritisiert worden ist, besteht sie in Wahrheit aus mehreren Systemen, die im Idealfall perfekt ineinandergreifen. Die KI in den Echtzeit-Schlachten muss ganz andere Dinge können als die zur Armee-Bewegung auf der Strategiekarte. Und noch mal eine andere Nummer ist die Diplomatie-KI, die über Handels- und Bündnisvorschläge entscheidet und das generelle Verhalten (wen angreifen?) bestimmt. Just diese Diplomatie-KI ist bei Three Kingdoms sehr gelungen und wurde unter anderem auch im Test des Spiels 2019 von Rüdiger Steidle und mir gelobt (Total War Three Kingdoms im Test, Note 8.0)

Ich darf mich daraus selbst zitieren, um den abstrakten Punkt "Diplomatie-KI"  greifbarer zu machen:

Die für mich größte Verbesserung ist die Diplomatie: Wer sich die Mühe macht, sich ins Beziehungsgeflecht der Fraktionen und Allianzen hineinzuwursteln, wird die Mehrzahl der Angebote, Aktionen und Reaktionen der KI als sinnvoll empfinden. Das klingt für Uneingeweihte trivial, ist aber in Wahrheit etwas, an dem die meisten Strategiespiele (inklusive aller Total-War-Serienteile mit partieller Ausnahme des diplomatisch eingeschränkten Total War Warhammer) krachend scheitern. Nicht, dass es keine Logik-Ausfälle gäbe, aber sie sind viel seltener als früher.

Wie also ist es dem (relativ kleinen) KI-Team gelungen, mit dem bislang letzten erschienenen Haupt-Serienteil einen so großen Sprung zu machen? Das erläuterten nacheinander Duygu Cakmak (sie ist Project Technical Director bei Creative Assembly) und Csaba Toth (er ist Senior AI Designer) in ihrem GDC-2021-Vortrag im Rahmen des "AI Summits". Dabei gingen sie auch auf die eigentliche Zusammenarbeit zwischen zwei Gruppen ein: Den Codern auf der einen Seite, die unter Berücksichtigung von Performance und Rechenzeit-Belastung Tools entwickeln, und den KI-Designern auf der anderen Seite, die mit diesen Tools herumspielen um der KI die gewünschte Verhaltensweise "anzutrainieren". Statt also die KI fest zu verdrahten oder direkt im Programmcode anzulegen, handele es sich um datenbankbasierte KI – die Designer können direkt die Werte in der Datenbank ändern und damit herumprobieren.

Dementsprechend unterscheiden sich auch die Ziele für beide Gruppen, Coder wie Designer. Für Duygu Cakmak und ihr Team waren die wichtigen Ziele für die Diplomatie-KI:

1. Die KI sollte sinnvolle und für sie (also die jeweilige Fraktion) positive Angebote (sei es ein Handelsdeal, ein Bündnis oder was auch immer) vorschlagen.
2. Die Deals sollten sich unterscheiden (nach reiner KI-Logik wäre es hingegen oftmals sinnvoll, dem Spieler jede Runde erneut denselben Deal vorzuschlagen, auch wenn dieser jedes Mal ablehnt.)
3. Die Entscheidungsfindung durfte nicht zu lange dauern, weil es sonst zu langen Wartezeiten bei der Zugberechnung käme.

Mit letzterem Punkt hatte einer der Zuseher (man konnte nebenher per Chat Fragen stellen) ein Verständisproblem: Eigentlich müsste doch aufgrund der rundenweisen Struktur des Spiels im Kampagnenmodus mehr als genug Zeit für die KI-Berechnung sein? Doch Cakmak führte aus, dass durch die fast 50 Fraktionen im Spiel pro Diplomatie-Runde zwischen 10.000 und 20.000 einzelne Deals berechnet werden müssten, was eine große Belastung für die Rechenzeit darstelle.

Wie sie und ihre Kollegen im einzelnen die drei Ziele bei der KI-Programmierung erfüllt haben, führt hier zu weit (ich habe auch nicht alles verstanden!), aber ein Beispiel: Bei Punkt 2 – also nicht immer denselben Deal vorzuschlagen – behalf man sich mit einer Art Timer. Der Code erinnert sich für eine vorgebbare Zahl von Spielrunden an bereits vorgeschlagene Deals. Weder werden diese dann solange neu berechnet (mit dem immer wieder fast identischen Ergebnis), noch dem Spieler erneut vorgeschlagen – eben, um ihn nicht zu nerven. Ebenso sei man von der gleichwertigen Berechnung aller Deals zu einem System übergegangen, wo nach einem Modul "datengetriebener Deal-Generation" ein zweites Modul der "priorisierten Deal-Evaluierung" folgt. Letzteres bedeutet grob gesagt, dass nicht jeder mögliche Deal wirklich ausgerechnet wird, sondern von oben nach unten die erfolgsversprechendsten/günstigsten. Da dem Spieler von jeder Fraktion maximal ein Vorschlag pro Runde gemacht wird, werden die vielen, vielen weiteren denkbaren Deals also zeitsparend erst gar nicht zu Ende berechnet.

Aufgrund seiner KI-Voreinstellungswerte verhält sich Cao Cao deutlich anders (und effektiver) als andere Fraktionen.

Klingt das alles arg theoretisch? Etwas näher an die Spielrealität rückte dann im zweiten Teil des Vortrags Csaba Toth, der mit seinen Kollegen aus dem "KI-Backend" dann erlebbare Fraktionen schneiderte.

Die Design-Ziele für die Diplomatie-KI waren für ihn und sein Team:

1. Einzigartige Charaktere – die fast 50 KI-Fraktionen sollten unterschiedliche Verhaltensweisen an den Tag legen.
2. Machtgruppen, die gegeneinander arbeiten (also Bündnissysteme der KI-Fraktionen untereinander beziehungsweise auch mit dem Spieler)
3. Wechselnde Allianzen – Bündnisse halten nur solange, wie es den darin befindlichen Fraktionen für die eigenen Ziele zum Vorteil gereicht.
4. Der Spieler muss Feedback bekommen, wieso die KI ihre Entscheidungen so trifft.

Bei den Charakteren war das Beispiel von Csaba Toth der berühmte Kriegsherr und Fraktionsführer Cao Cao. Durch seine Werte in bestimmten KI-Kategorien habe er ein besonders "auffälliges" Verhalten. Dieses stelle sich dem Spieler als paranoid, verschlagen und schlau dar. Cao Cao präferiere Intrigen statt purer Gewalt. Der Respektwert ist ihm egal (respect value 0 statt Default 0,4), also was andere Fraktionen von ihm halten. Dank seines Wertes 50 bei main_threat (Default: 8) würde er gegen seine "Hauptbedrohung" immer sofort losschlagen, und dank anderer Werte sehr aktiv versuchen, sich mit deren Feinden zu alliieren.

Wie genau die "Hauptbedrohung" (also welche Fraktion die größte Gefahr für die eigene darstellt) berechnet wird, führt hier zu weit, aber es fließen diverse Parameter wie Größe und Lage des kontrollierten Gebietes, Zahl der Armeen und andere ein.

Und da jede Fraktion eine Hauptbedrohung hat, ergeben sich daraus dann auch die "Power Groups", die Bündnisse aus Ziel 1, wobei hier dann noch zwischen dem "Common Threat" der ganzen Allianz (dies bleibt in der Regel eine andere Allianz und deren Hauptfraktion) und den individuellen "Main Threats" unterschieden wird – frei übersetzt: Was bringt mir der Kampf gegen den weiter entfernten Hauptfeind der Allianz, wenn direkt an meiner Grenze eine neue Bedrohung für mich speziell auftaucht?

Das wiederum führt fast automatisch zur Erfüllung des Ziels 3, nämlich den wechselnden Allianzen: Indem eine Power Group Erfolge oder Misserfolge feiert, können sich für ihre Mitglieder die indivdiuellen Bewertungen der Lage ändern. Hat beispielsweise eine Fraktion außerhalb der eigenen Allianz der denselben Main-Threat wie man selbst, steigt deren "Utility Value", die Nützlichkeit. Dass kann dazu führen, dass man sich mit dieser verbünden will als KI-Fraktion, und dafür die bisherige Allianz verlässt. Es kann auch passieren, dass die Spielerfraktion zum Main-Threat für die Mehrzahl der Allianz-Mitglieder wird. Dann werden sie ihre individuellen Vereinbarungen mit dem Spieler (also Handelsabkommen und Co.) auslaufen lassen und versuchen, ihn aus der Allianz zu werfen.

Das alles funktioniert auch ziemlich gut, allerdings führt das dann doch zu einem Problem, dass in einem kurzen Video auch gezeigt wurde (wenngleich nicht als Problem thematisiert), siehe auch das Aufmacherbild dieses Artikels: Toth führte uns das "CAT" vor, das interne "Campaign Analyser Tool", mit dem Creative Assembly ihre KI-Fraktionen gegeneinander kämpfen lässt und auf grober Ebene (Provinzkontrolle und Armeebewegungen) verfolgen kann, was in einer solchen KI-Partie passiert. Man sah, wie sich Cao Caos Fraktion ausdehnte, auf einen starken Gegner im Süden stieß, sich dann mit einer Fraktion im Nordosten verbündete, und dann gemeinsam mit dieser den starken Gegner regelrecht pulverisierte – bis dieser so schwach geworden war, dass plötzlich der Verbündete aus dem Nordosten zum Main-Threat wurde für Cao Cao, der sich dann, und damit endete die Aufzeichnung, gegen diesen wandte.

Das mag alles sinnvoll sein, führt aber im Zweifel dazu, wie auch ein Zuseher bemerkte, dass die KI Kriege eher nicht bis zum endgültigen Sieg führt, sondern sich immer wieder umorientiert. So ist es weniger wahrscheinlich, dass es im Late Game einen großen, monolithischen Gegnerblock für den Spieler gibt, der in aller Regel anders verfährt und schwachen Gegnern vollends den Gnadenstoß gibt. Wo nichts mehr lebt, kann auch nichts widererstarken und einem später in den Rücken fallen...

Noch zum letzten Punkt, der vielleicht der wichtigste ist: das Feedback an den Spieler. Das macht Three Kingdoms tatsächlich viel konsequenter als die Vorgänger, so sieht man bei jeder vorgeschlagenen Transaktion (von einem selbst oder der KI) exakt den abstrakten Wert, der dem Deal zugeschrieben wird. Will man also Rohstoff-Lieferungen für ein Jahr gegen eine Stadt tauschen, kann man bis auf die Nachkommastelle sehen, was für ein (aus Sicht der KI!) faires Angebot noch fehlt. Das nimmt einerseits ein wenig die Magie raus, tut aber wirklich sehr viel dafür, dass man die Aktionen der KI nicht als willkürlich empfindet. Die Schwierigkeit dabei ist natürlich, wie Toth zum Schluss ausführte, dem Spieler weder zu wenig Information zu geben noch zu viel.

Ihr merkt schon, ich fand den Vortrag ziemlich interessant, auch wenn ich nicht alles verstanden habe, einfach weil bereits Fachwissen ("Problem Space" und Co.) vorausgesetzt wurde. Was ich aber verstand, das deckte sich mit meinen Beobachtungen in Total War Three Kingdoms: Die Diplomatie-KI funktioniert darin gut und menschenähnlich, und jetzt weiß ich auch, warum. In der Tat ist in diesem Teilbereich die KI "dynamic and sensible", wie es Csaba Toth behauptet.

Nur hoffe ich, dass Creative Assembly ein ähnlicher Fortschritt bald auch bei der Kampf-KI gelingt – und dass ihre Silizium-Fraktionen auf höheren Schwierigkeitsstufen weniger auf Cheats wie Unterhaltskostenvorteile oder geschenkte Truppen/Ressourcen setzen, als sie das auch in Three Kingdoms immer noch machen.