Kunstig intelligens og Dota 2

I de seneste år har kunstig intelligens besejret verdens bedste gamere. I den forbindelse dykker vi ned i dens rolle i gaming. På engelsk kaldes kunstig intelligens for artificial intelligence, og derfor bruger vi AI og kunstig intelligens synonymt i dette blogindlæg.

Hvad er AI, og hvor langt er der egentlig fra digitale assistenter som Siri og Alexa til tidsrejsende dræberrobotter med titaniumskeletter?

Cyberdyne Systems Model 101 fremviser sit metalskelet i Terminator 2: Judgment Day (1991)

Hvad er AI/kunstig intelligens?

AI betegner, at en computer forsøger at efterligne hjernens måder at tænke på. Det kan fx være, når Spotify anbefaler sange ud fra, hvad du ellers lytter til, når computeren styrer dine modstandere i computerspil, eller når en selvkørende bil skal identificere den virkelige verdens objekter.

I grove træk kan AI opdeles i fire kategorier: Reactive machines, Limited memory, Theory of mind og Self-awareness. Denne opdeling er i kronologisk rækkefølge, så førstnævnte er altså den originale og mest simple slags AI, og de to sidste findes mere eller mindre kun i teorien.

Reactive machines udvikles til specifikke formål, som fx til at spille skak. I dette tilfælde er den programmeret til at kende spillets regler, og den analyserer sine muligheder ud fra, hvor brikkerne står. Den husker ikke sine forrige spil, så den udvikler sig ikke selv.

Dens efterfølger, Limited memory, er meget mere avanceret, i den forstand at den lagrer sin erfaring og agerer ud fra forrige resultater. Stort set al AI, vi benytter os af i dag, hører under denne kategori, selvom der kan være enorm forskel i potentialet. En selvkørende bil bruger fx informationer fra den nære fortid. Mennesker har (sjovt nok ved hjælp af AI) programmeret dens forståelse af, hvordan et lyssignal ser ud, at den skal stoppe for rødt osv; men selve bilens AI monitorerer blot de seneste få sekunders information, så den kan analysere de andre bilers hastighed og retning og undgå sammenstød. Et menneske der har kørt bil i årevis har altså en slags erfaring, som en selvkørende bil ikke har.

Hvem udvikler AI?

Tanken om kunstig intelligens - altså at efterligne menneskets tankemønstre på mekanisk vis - kan spores helt tilbage til græsk og egyptisk mytologi, og mange store tænkere har gennem tiden skrevet om emnet; heriblandt luftede den franske filosof og matematiker René Descartes idéen om, at dyr blot var komplekse maskiner, og den engelske filosof Thomas Hobbes anses af nogle historikere for en af AI'ens profeter pga. hans banebrydende bog Leviathan fra 1651.

Men nok om det. Vi springer frem i tiden til noget mere konkret. I 1951 blev de første funktionelle AI-program skrevet på University of Manchester. De kunne spille skak og dam. Efterfølgende skete der enorme spring hist og her, og researchen inden for AI har flere gange taget store spring efterfulgt af lange perioder med stilstand.

Vi springer til 2010, hvor firmaet DeepMind Technologies blev grundlagt. Firmaet havde skabt et såkaldt artificial neurological network, der lærte sig selv at spille traditionelle spil på computer. I 2014 blev firmaet opkøbt af Alphabet Inc; der bl.a. ejer Google, for $500 mio.

I 2016 fik en af DeepMind's intelligenser, AlphaGo, meget omtale, da en dokumentar blev udgivet, hvor den vandt en BO5 (bedst ud af 5) over verdensmesteren i Go - et populært kinesisk brætspil. Ligeledes har intelligensen AlphaZero vundet over de stærkeste AI's i Go, skak og shogi (japansk skak), efter den øvede sig imod sig i selv i et par dage.

Brætspillet Go

AI og Dota 2

Firmaet OpenAI har dog skabt de største overskrifter inden for gaming, da de arbejder med meget mere komplicerede spil.

Ejeren af Tesla og SpaceX, Elon Musk, var en af de grundlæggere, der i 2015 tilsammen lagde $1 mia. i puljen til OpenAI. Firmaet har skabt en selvlærende kunstig intelligens, der hurtigt lærte at ydmyge professionelle Dota 2-spillere. Senere hen, i 2019, investerede Microsoft også $1 mia.

Dota 2-algoritmen (AI'en) hedder OpenAI Five. I denne artikel kaldes den OA5 fremover. OA5 trænes med metoden reinforcement learning, hvilket er en af mange metoder, der bruges til at træne kunstig intelligens. AI'en styres af uafhængige neurale netværk (kaldet agenter) men deler den lagrede erfaring. Metoden er trial-and-error, dvs. den prøver sig frem, og det er umiddelbart ikke særligt effektivt.

Effektivitet er dog underordnet, når man tager i betragtning, at den øver sig i et tempo, der overgår, hvad virkelighedens verden tillader. Hver dag spiller hver agent nemlig med sig selv i et stykke tid, der svarer til 180 år. Spiller man mod 5 agenter på en gang, spiller man altså imod et hold, der sammenlagt har øvet sig i knap tusinde år om dagen. For at køre alle disse simulationer gør OA5 brug af 256 GPU'er og 128,000 CPU'er. OpenAI's fremgangsmåde er ikke nyskabende, men det er selve skaleringen og systematiseringen, der er banebrydende.

Serverrum med supercomputer

OA5 lærer ikke spillets regler, men dens ingeniører hjælper den på vej ved at belønne den for at gennemføre bestemte opgaver. Den ved altså, at dens ultimative mål er at vinde spil, og for at øge sine chancer for succes, er dens delmål at få kills/assists og vinde spil - og at den forværrer sine chancer for succes, når den selv dør.

Men hvordan vinder man over en kunstig intelligens, der fortolker spillets data på en helt anden måde end menneskers? En algoritme der konstant udregner sandsynligheder ud fra omtrent 20,000 inputs og hvert øjeblik træffer en af tusinde mulige beslutninger.

Hvordan besejrer man en digital intelligens, der er usammenlignelig i sin eksekvering (altså sin hastighed og præcision)? En algoritme der ikke skal gætte sig til, hvor langt væk modstanderen helt nøjagtigt er, hvor meget denne har tilbage i liv (fremfor at se en health bar og gætte), og hvor meget skade den præcis kan give, fordi den øjeblikkeligt udregner, hvor mange procent modstanderens rustning nedsætter skaden med.

Da professionelle Dota 2-spillere først mødte OA5 i august 2017, blev de simpelthen udslettet. Formatet var ikke som et rigtigt spil, bevares, det var 1 mod 1, og der var mange restriktioner, som menneskerne også accepterede. Dota 2's topspillere gav sig efterfølgende i kamp mod OA5 gennem tusindevis af spil, og efter en måneds tid blev spilleren Black den første til at vinde en 1 mod 1 over algoritmen - en stor sejr for menneskeheden.

OA5 vendte dog tilbage i 2018 med 8 x regnekraft og var nu i stand til at spille 5 mod 5-kampe - dog stadig med begrænsninger i spillets regler. Surprise, surprise, selv de bedste spillere havde ikke en chance... lige indtil de lærte at sætte sig ind i algoritmens "tankegang". Team Secret vandt over den i august, og paiN Gaming vandt over den til The International 8 (verdensmesterskaberne i Dota 2).

Historien gentog sig dog igen, og OpenAI øgede atter regnekraften markant - og professionelle hold blev igen fuldstændigt destrueret. I 2019 vandt OA5 to gange i træk mod OG Esports - holdet der vandt The International samme år og året efter. I slutningen af 2019 kunne OpenAI fortælle, at de har trænet en ny agent, der har vundet over 98 % af sine spil mod den ældre iteration.

Hvordan besejrede man OA5?

Selvom OA5 vendte stærkt tilbage, kunne os dødelige kortvarigt fejre, at mennesket var klogere end maskinen. Hvis vi skal nå dertil igen, må vi kigge nærmere på, hvordan det lykkedes os i første omgang.

OA5's kalkulerede spillestil er også dens akilleshæl. Grundet spillets natur bliver det sværere at lave comeback, når man er bagud, da modstanderne har flere ressourcer til at gøre sig selv stærkere. AI'en tænker ikke langt frem, og den har lært (fra sig selv), at den har størst chance for at vinde spil, der varer 10-20 minutter. I kampe med rigtige mennesker på begge hold varer en kamp oftest over 30 minutter, og en lang kamp kan godt vare over en time.

Så hvis det lykkes menneskene at komme foran tidligt, er de rigtigt godt på vej, for AI'en laver simpelthen ikke de risikable plays, der skal til for at vende slagets gang. Den holder sig til taktikker, der rent statistisk viser overvældende succes i dens eget arkiv. OA5, som den er i dag, ville aldrig turde at gå efter plays som det legendariske 6 million dollar echo slam dunk, alle dedikerede Dota 2-spillere kender. Man må dog antage, at den med tiden vil lære, hvornår den er nødt til at tage større chancer.

Apropos akilleshæle, så er mennesker vant til at slappe af et øjeblik, når de lige har vundet en skirmish (en lille kamp i den større kamp), Her straffer OpenAI dem gang på gang ved at gemme sig i nærheden i stedet for at flygte hjem for at få fuldt liv og mana.

AI'en er altså unægteligt bedre end de allerbedste spillere, når det kommer til eksekvering, men os mennesker kan vinde ved hjælp af strategi. Det er standardprocedure i MOBA-spil som Dota 2, at man udvælger en spiller til at være carry - navngivet sådan fordi denne spiller skal bære holdet til sejren. Denne rolles opgave er at tjene guld, få levels og undgå at dø. I ekstremt grove træk handler spillet om, hvilket hold der bedst kan beskytte sin carry og forhindre modstanderholdets carry i at blive stærkere, for når kampen når til late game, så er spillet til en vis grad en 1 mod 1 mellem de to carries.

Hvad har OpenAI lært os?

For mange mennesker lyder det dumt at dedikere så mange ressourcer til at gøre en computer god til at spille et computerspil, men OpenAI's vision er faktisk større end Dota 2. Det har faktisk aldrig rigtigt handlet om Dota 2. OpenAI har benyttet sig af, at spillet er et af de mest komplicerede, der findes - med over 100 forskellige karakterer at vælge imellem, der hver har forskellige egenskaber, samt et utal af andre variable der gør kombinationsmulighederne astronomiske.

OpenAI udforsker, hvordan en algoritme kan lære at træffe øjeblikkelige beslutninger i uforudsigelige omgivelser for at nå sit mål på bedst vis. Den bagvedliggende tankegang er, at udviklingen af den kunstige intelligens med tiden kan overføres til den virkelige verden, hvor mulighederne stort set er uendelige.

Dette er kun begyndelsen.

Her er en kort video fra OpenAI selv. Den er fra 2018, så der er sket meget siden.