Deel 9: Partij 4: Lee Sedol's briljante zet openbaart zwaktes AlphaGo (De historische match van deep learning AlphaGo vs Lee Sedol)

Partij 4:  Lee Sedol's briljante zet openbaart zwaktes AlphaGo

Nu Lee Sedol in de match tegen AlphaGo het onderspit heeft moeten delven met drie achtereenvolgende nederlagen en hij al vroeg in de derde partij mentaal bezweken is onder de onbeschrijfbaar hoge psychologische druk,  is de grote vraag wat Lee Sedol nog in zijn marge heeft om AlphaGo alsnog proberen te verslaan.

Hoe machteloos moet het voor Lee Sedol zijn om zó genadeloos een match tegen een computer programma te verliezen terwijl honderden miljoenen wereldwijd hem beschouwden als te vechten in naam van de mensheid en mega hoge verwachtingen van hem hadden? 

Het alles overrompelende en ondraaglijke gevoel ondermaats te hebben gepresteerd, onvoldoende te hebben gegeven, en niet tot het alleruiterste te zijn gegaan om AlphaGo onderuit te halen. Gefaald te hebben het programma met speels gemak onder het tapijt te vegen en volledig in de vergetelheid te dringen. Maakt dat Lee Sedol niet totaal vleuggellam en krachteloos?

En als alles waar je je bestaan tot nu toe op hebt gebouwd in één klap volledig onder je voeten wordt weggemaaid en je hele leven plotseling overhoop wordt gehaald, kun je dan binnen één etmaal toch proberen echt opnieuw alles te geven en hernieuwde kracht en energie vinden om jezelf nogmaals volledig op te laden?

Hoe onvoorstelbaar veerkrachtig,  volhardend en in jezelf gelovend moet je zijn om, na deze nieuwe mokerslag, jezelf toch weer proberen te herpakken, waar te maken dat je het wèl kunt, het gelijk van héél de mensheid te bewijzen?

De opening van de vierde match partij verloopt tot aan zet 12 gelijk aan die van de tweede partij (daarin had Lee Sedol eveneens wit). 

Dia. 1:  Partij 4, na zwart 25 (cirkel, Lee Sedol is wit) 

Op de probeer zet van AlphaGo (yosu-miru)  in de hoek linksonder antwoordt Lee Sedol aggressief (driehoek in Dia. 1) en probeert het programma te dwingen een keuze te maken. Maar AlphaGo laat zich niet dwingen en speelt eerst ergens anders (tenuki, cirkel in Dia. 1), om te kijken hoe de situatie zich daar ontwikkelt, alvorens een besluit te nemen. 

Dia. 2:  Partij 4, na zwart 35 (cirkel, Lee Sedol is wit)

Na een zeer gebalanceerd begin, waarbij zowel Lee Sedol als AlphaGo solide en evenwichtig spelen, focust Lee Sedol zich op het pakken van gebied in de hoeken en aan de randen van het bord terwijl AlphaGo de bovenrand inneemt en invloed in het centrum opbouwt (Dia. 2). Lee Sedol speelt hierbij volgens de amashi strategie: door de amashi speler wordt gebied ingenomen in ruil voor invloed van de tegenstander, de amashi speler hoopt hierbij aanvallen en de sterke invloed van de tegenstander goed te doorstaan.

Dia. 3:  Partij 4, na zwart 47 (cirkel, Lee Sedol is wit)

Terwijl Lee Sedol AlphaGo's sterke centrum invloed effectief probeert te neutraliseren (driehoek in Dia. 3), negeert AlphaGo deze zet volkomen en speelt een 'shoulder hit' aan de rechterrand (cirkel, Dia. 3). Zwart wil eerst kijken hoe wit hierop antwoordt en aan de hand daarvan indien mogelijk een dubbelaanval starten (op zowel de witte centrum groep als de groep die zich eventueel aan de rechterrand ontwikkelt).

Wanneer zwart in het vervolg vier witte centrum stenen afknipt (driehoek in Dia. 4) en wit verlengt (cirkel in Dia. 4) onstaat een enorm gecompliceerd en onduidelijk gevecht waarin AlphaGo de partij op ultra scherp zet en Lee Sedol dwingt iets met zijn centrum stenen te doen om te voorkomen dat het programma de daar opgebouwde invloed rijkelijk kan verzilveren.

Tegelijkertijd speelt ook het gevecht tussen de witte en zwarte stenen midden rechts: na wit's verlenging (cirkel in Dia. 4)  komt zwart hier zwaar onder druk te staan en zal daarbij de keuze moeten maken hoe deze groep stenen op zodanige manier in de partij te betrekken dat dit niet volledig ten koste gaat van alle eerdere investeringen in het centrum moyo?

Dia. 4:  Partij 4, na wit 64 (cirkel, Lee Sedol is wit)

AlphaGo's laatste zet (driehoek) knipt de witte groep in het centrum af.

Dit zijn typisch de ideale, uiterst complexe, alles-of-niets gevechten waar Lee Sedol wereldwijd bekend om staat en patent op heeft.  Daarnaast is het zo dat meerdere belangrijke en zware gevechten, die zich uitstrekken over een groot gedeelte van het go-bord, het voor een programma als AlphaGo veel lastiger maken een go-positie juist te beoordelen en nauwkeurig door te rekenen.

Bij deze extreem lastige vervolgkeuze gaat het om minimaal 20-25 zetten vooruit 'kijken' in een onduidelijke strijd om zowel het belangrijke centrum als de rechter midden rand. Lee Sedol's geweldige intuïtie en onmetelijke ervaring bij het inschatten van de mogelijkheden en aanknopingspunten in dit soort explosieve posities, zijn hierbij van onschatbare waarde (Dia. 4). 

Omdat zowel Lee Sedol als AlphaGo vrijwel onmogelijk kunnen voorspellen hoe de bord-positie over 20-25 zetten zal zijn, moeten beiden dus vooral afgaan op een heel ruwe inschatting van hoe de stelling zich geleidelijk aan zal kunnen ontwikkelen.

Zwart maakt de keuze zijn stenen rechts midden voorlopig te laten voor wat ze zijn en zet alles op alles om zijn eerder opgebouwde moyo verder te verstevigen en de druk op wit nog verder op te voeren. Het lijkt voor Lee Sedol vrijwel onuitvoerbaar om nog iets zinnigs met zijn stenen in het centrum te doen. Nadat hij knipt om de stelling complexer te maken (driehoek in Dia. 5) antwoordt AlphaGo koelbloedig en lijkt de weg naar het centrum compleet af te snijden.

Dia. 5:  Partij 4, na zwart 73 (cirkel, Lee Sedol is wit)

Weliswaar heeft zwart behoorlijke zwaktes aan beide zijden van zijn moyo, de witte centrum stenen lijken maar heel mondjesmaat samen te werken. Daardoor lijkt het brouwen van een levende groep voor wit volstrekt uitgesloten. Daarnaast is ontsnappen ook al geen aantrekkelijke optie voor wit met zo'n meerderheid aan zwarte stenen in de nabijheid (midden en onder) en ook nog eens zwart's optie om de aji van zijn groep midden rechts te benutten bij een eventuele vlucht poging van wit (Dia. 5). Kortom: het heeft er werkelijk alles weg van dat dit opnieuw een klinkende overwinning voor AlphaGo gaat worden: de witte positie lijkt volkomen uitzichtloos.

Er is één lichtpuntje aan de horizon: Lee Sedol heeft weinig tot niets meer te verliezen waardoor hij weer in staat is zijn eigen (alles-of-niets) spel te spelen, vrij van de enorm zware psychologische druk van de eerdere partijen. 

En dan … dan komt Lee Sedol met een totáál onverwachte, ongelofelijke en geniale zet die opeens het hele bord in vuur en vlam zet,  al de witte centrum stenen in één klap gevaarlijk activeert en genadeloos effectief laat samenwerken om de aji in zwart 's centrum op alle mogelijk denkbare manieren te benutten en onverbiddelijk uit te buiten (Dia. 6). Deze fantastische zet is gewoonweg bijna niet te bevatten met de zoveel verschillende manieren om de aanwezige zwaktes in zwart's stelling uit te buiten.

Dia. 6:  Partij 4, na wit 78 (cirkel, Lee Sedol is wit)

Lee Sedol's zet komt totaal onverwacht uit de lucht vallen, zowel  voor alle live commentatoren als de vele top go-profs die de partij volgen. En brengt al Lee Sedol's kracht, ervaring, doorzettingsvermogen, creativiteit, intuïtie, wil om tot het alleruiterste te strijden en proberen te verbeteren, vergelding te zoeken voor alle frustratie en onmacht van de eerdere partijen, samen om hiermee AlphaGo tot het alleruiterste te testen. 

Met deze zet hoor je Lee Sedol in gedachten brullen:  “en laat nu maar eens zien wat je nog kunt”. Bij het zien van deze zet tijdens het live commentaar in China beschreef top go-prof Gu Li (9p) Lee Sedol's zet 78 (driehoek in Dia. 6) als "een zet van God's hand".

AlphaGo faalt om met zwart 79 het beste antwoord te spelen en wat volgt is een zettenreeks waarbij zwart in eerste instantie denkt sterke antwoorden te spelen maar er dan zo'n tien zetten later achter komt dat wit's ontsnapping uit het centrum niet meer te voorkomen valt (of zwart moet willen kiezen  voor nog  slechtere scenarios). 

Zwart heeft zijn groep stenen midden rechts moeten opgeven waarmee wit niet alleen zijn groep heeft veilig gesteld maar ook nog eens een sloot punten heeft binnengehaald. Tegelijkertijd is zwart's centrum moyo voor een belangrijk gedeelte teniet gedaan.

Dia. 7:  Partij 4, na wit 94 (cirkel, Lee Sedol is wit)

Dit keer is Lee Sedol dus wel meedogenloos in staat om een foutieve zettenreeks van AlphaGo af te dwingen en uit te buiten doordat het programma een belangrijk middenspel gevecht verkeerd beoordeelde.  In ruil voor zijn opgegeven groep krijgt AlphaGo slechts een armoedige sente zet die het programma ook al eerder, zonder de zettenreeks, had kunnen spelen (Q13 in Dia. 7). Commentator Michael Redmond (9p) laat verschillende alternatieven zien die AlphaGo een aanzienlijk beter resultaat hadden opgeleverd.

Met wit's zet 110 (zie Dia. 8) verstevigt wit zijn relatief zwakke stenen in het centrum door zelf de zwarte groep midden links aan te vallen. Daardoor creërt wit voldoende mogelijkheden om in geval van nood met de groep links onder te verbinden. Een vergelijking tussen Dia. 7 en --ruim dertig zetten later-- Dia. 8 laat onmiddelijk zien dat wit tot het schier onmogelijke in staat is gebleken. Lee Sedol heeft zijn mogelijkheden in dit ultra complexe dubbelgevecht (uitgaande van AlphaGo's sterkste tegenspel) volkomen juist ingeschat en staat voor! Een werkelijk mirakel: het is alsof wit's invaderende centrum stenen in staat waren om te ontsnappen door een onzichtbare tunnel (David Ormerod).

Dia. 8:  Partij 4, na wit 110 (cirkel, Lee Sedol is wit)

Voor het eerst in deze match is Lee Sedol er in geslaagd een duidelijke voorsprong te nemen na de briljante zet in het middenspel, waarbij hij het gevecht snoeihard aanging en tot op zijn tandvlees knokte om te voorkomen dat AlphaGo te veel gebied in het centrum zou maken. De Zuid-Koreaanse live commentatoren konden hun opwinding niet verbergen toen duidelijk werd dat Lee Sedol --eindelijk, na ruim drie uur in de partij  -- de winst waarschijnlijk zou gaan binnenhalen.

Er rest zwart niets anders dan zijn groep midden links in veiligheid te brengen en toe te staan dat wit ondertussen zijn centrum groep –in sente-- verbindt en vervolgens het zwarte centrum verder uitholt door ook nog eens zijn drie stenen midden boven te verbinden. Zwart's gehele  moyo is teniet gedaan en volkomen uitgemergeld. Wat een onbeschrijfbaar knappe en fantastische prestatie van Lee Sedol (Dia. 9). 

AlphaGo probeert met zo actief mogelijk eindspel terug in de partij te komen maar ook nu speelt Lee Sedol geweldig scherp en kiest voor zowel de meest risicovolle als strijdlustige varianten. Een klinkend voorbeeld daarvan is Lee Sedol's mooie tegenzet in Dia. 9: wit negeert zwarts dreiging om de rechteronderhoek wat in te deuken en komt zelf met een grotere tegendreiging (die daar ook tal van sente zetten van zwart voorkomt). 

Dia. 9:  Partij 4, na wit 136 (cirkel, Lee Sedol is wit).

AlphaGo's laatste aanvalstzet (driehoek) wordt door Lee Sedol beantwoord met een nóg grotere counterzet.

Dia. 10 laat zien hoe het eindspel zich verder ontwikkelt. Opnieuw negeert Lee Sedol een grote eindspel zet van AlphaGo (driehoek in Dia. 10) en antwoord met een nog dwingendere eindspel zet (cirkel in Dia. 10).

Dia. 10:  Partij 4, na wit 146 (cirkel, Lee Sedol is wit)

Ruim twintig eindspelzetten verder, waarbij AlphaGo duidelijk minder optimaal speelt en zelfs hier en daar punten verliest (een teken dat het programma gewoonweg geen kans meer ziet om de partij nog te kunnen winnen), dreigt het AlphaGo in uiterste wanhoop met een puntloze dame punt plus het weggeven van een ko-dreiging (er is immers geen ko aan de gang) om wit's inmiddels grote centrum groep af te knippen (driehoek in Dia. 11). Daarop antwoord Lee Sedol met een zeer grote eindspelzet die ook nog eens zijn groep levend maakt (cirkel in Dia. 11). Als AlphaGo hier zelf eerst had gespeeld, had dat sowieso al een punt of wat gescheeld --in sente. Met deze zet (driehoek in Dia. 11) geeft het programma dus eigenlijk op.

Dia. 11:  Partij 4, na wit 168 (cirkel, Lee Sedol is wit).

AlphaGo's voorafgaande dreigzet om de hele witte groep af te knippen wordt door Lee Sedol zeer koelbloedig en efficiënt beantwoord. 

De manier waarop AlphaGo vervolg zetten kiest door het maximaliseren van de winstkans (in plaats van het maximaliseren van de winst die het lokaal kan behalen of het verschil waarmee het kan winnen), dwingen het programma blijkbaar tot het spelen van suboptimale en zelfs punten verliezende zetten. Wanneer de kans op het winnen van de partij daalt tot onder een gegeven drempelwaarde (bijv. 50 %) en het geen duidelijk winnende zet meer kan vinden, lijkt het er sterk op dat het programma zetten doet die de eigen positie verzwakken, ko-dreigingen weggeven, extra punten verliezen, en eigen mogelijkheden en potentieel wegnemen (voor later in de partij).

Dia. 12:  Partij 4, eindstand na wit 180 (cirkel, Lee Sedol is wit).
Na deze zet geeft AlphaGo op.

Wellicht ook dat AlphaGo in deze situatie precies het soort zetten reproduceert die mensen in een soortgelijke, uitzichtsloze situatie spelen. Daarnaast heeft het programma duidelijk de neiging om in een verloren stelling zoveel mogelijk dwangzetten te doen en dan louter nog te spelen op de mogelijkheid dat de tegenstander nog een fout maakt.

Ondanks dat Lee Sedol langer dan een uur onder ultra-hoge druk speelde (sinds zet 90), daarbij zijn laatste byoyomi periode telkens tot het maximum opgebruikend (max. 1 minuut per zet), was hij in staat om zijn eerder in het middenspel opgebouwde voorsprong stevig te behouden tot ver in het eindspel. Een schitterende prestatie die oneindig veel respect en bewondering verdiend.

Dia. 12 toont de eindpositie na Lee Sedol's zet 180, het punt in de partij waarop AlphaGo daadwerkelijk opgaf na de inschatting door het programma dat de kansen op het winnen van de partij waren gedaald tot onder het kritische punt voor opgave. In deze stand staat AlphaGo minstens 5 punten achter (komi meegerekend) en moet daarom meer dan ~20 punten midden onder maken (zonder dat Lee Sedol daar enige compensatie voor krijgt) om de partij weer gelijk proberen te trekken.

Toen programma AlphaGo zich 'bewust' werd dat het was verslagen door Lee Sedol, werd deze nieuwe 'gewaarwording' via een display doorgegeven aan DeepMind team member en operator Aja Huang (6d) die vervolgens twee stenen op het bord plaatste om Lee Sedol en de rest van de wereld te laten weten dat AlphaGo opgaf: de eerste keer dat het programma een formele matchpartij verliest tegen een top go-prof. Een koreaanse go-prof stelde: “Lee Sedol heeft zojuist de 1000 jaren go-geschiedenis bevochten, en ik ben trots op hem”.

Lee Sedol's eerste winstpartij tegen AlphaGo toont aan --en bewijst voor de eerste keer-- dat deep learning programma AlphaGo niet alleen maar perfecte zetten speelt en soms daadwerkelijk problemen heeft om de uitkomst te beoordelen van een zeer complex middenspel met meerdere gevechten tegelijkertijd. Ondanks de enorm zware druk kon Lee Sedol deze partij zijn eigen spel spelen en zwaktes van AlphaGo duidelijk blootleggen.

Een werkelijk uitzinnig publiek scandeerde : “Lee Sedol!” ”Lee Sedol!” “Lee Sedol!” tijden de pers bijeenkomst na afloop. Minuten lang geflits legde een uitgelaten, stralende en zichtbaar dolgelukkige en diepvoldane Lee Sedol vast. Zijn eerste reactie was: “Nooit eerder ben ik zo vaak gefeliciteerd met het winnen van slechts één partij. Het winnen van deze partij is zeer waardevol: de kracht en wil achter de winst vandaag is niets anders dan het vertrouwen en zo intens meeleven van jullie allemaal. Deze ene winst is zo dierbaar, ik zal deze niet afstaan voor wat dan ook ter wereld”.

Op een vraag over zijn mentale gesteldheid antwoordde Lee Sedol na de partij: "nadat ik de eerste drie partijen en dus de match tegen AlphaGo had verloren, kon ik niet zeggen dat er geen psychologische schok was ... maar die was niet zo sterk dat ik genoodzaakt was om deze match te moeten stoppen, omdat ik op ieder moment van deze match oprecht genoot. Ik kan jullie vertellen dat ik geen merkbare schade heb overgehouden en dat ik zeer blij en gelukkig ben te kunnen zeggen dat ik deze partij heb gewonnen”.

En gevraagd naar wat Lee Sedol dacht op het moment dat hij de  briljante zet speelde (zet 78, Dia. 6): “Ik dacht dat ik vrij makkelijk in staat zou zijn om wat voordeel te behalen maar dat was niet het geval. Het werd veel lastiger dan ik had verwacht en op dat punt in de partij was zet 78 de enige zet die ik kon zien, er waren geen andere zetten, geen andere plaats kon ik bedenken voor een zet die zou werken. Het was de enige optie voor mij en ik ben nederig onder alle lof die ik daarvoor krijg”.

Demis Hassabis reageerde:  “AlphaGo maakte een fout rond zet 79 maar leek zich dat pas te realiseren  bij zet 87, toen was het al te laat om deze nog te herstellen. Bij zet 79 schatte AlphaGo de winstkans nog op 70% maar deze daalde tot onder de 50% bij zet 87. AlphaGo dacht dat het aanzienlijk beter stond bij de start van het complexe centrum gevecht maar werd door Lee Sedol onder druk gezet om fouten te maken. Het is dankzij de ongelofelijke vechtlust die Lee Sedol toonde dat een creatieve genie als hij in staat is zwaktes in het spel van AlphaGo te vinden en uit te buiten. Het verlies van AlphaGo is zeer waardevol: we zullen alle statistieken analyseren en kijken er naar uit om te leren van deze zwaktes en de problemen aan te pakken”.

David Silver, teamleider AlphaGo, voegde daaraan toe: “We hebben AlphaGo ontworpen om zelfstandig te leren door herhaaldelijk tegen zichzelf te spelen. Maar er moeten gaten in een dergelijk algoritme zitten waarvan we het bestaan niet weten. Lee Sedol was in deze partij in staat om dergelijke zwaktes bij AlphaGo aan de oppervlakte te brengen”.

Lee Sedol sloot af met: “Twee duidelijke zwaktes heb ik in het spel van AlphaGo gesignaleerd: toen ik een onverwachte zet deed, antwoordde AlphaGo alsof het een bug had die aantoont dat het programma problemen heeft met verrassingen om te gaan.  Verder vindt het programma het veel moeilijker om een partij te winnen met zwart dan met wit. Bij deze wil ik dan ook aan Hassabis en Silver vragen of het mogelijk is dat ik in de laatste partij met zwart speel, in plaats van te loten”. Hun antwoord luidde:  “ja, dat is goed”.


[Historische Match AlphaGo vs. Lee Sedol -- Match Overview]

[Deel 1: Details van de Match van de 21e eeuw]

[Deel 2: AlphaGo onder de Loep]

[Deel 3: Lee Sedol over het Go-bord in zijn hoofd

[Deel 4: Kunstmatige Intelligentie versus Lee Sedol: Verwachtingen en voorspellingen van de Match]

[Deel 5: Google's grootste persconferentie ooit: opening van de match]

[Deel 6: Partij 1: Lee Sedol onderschat vechtkracht AlphaGo]

[Deel 7: Partij 2: AlphaGo's nieuwe zet en verpletterende agressie]

[Deel 8: Partij 3: Lee Sedol's openingsfouten door enorme mentale druk]

[Deel 10: Partij 5: AlphaGo onbekend met tesuji in ultieme moyo partij]