Blufs vanuit een speltheoretisch perspectief

Inleiding

In dit artikel:

• De wiskundige achtergrond van blufs
  
• De optimale strategie
  
• Het Nash-equilibrium
  

Blufs zijn een essentieel onderdeel van het pokerpel en iedere goede speler moet ze in zijn repertoire hebben. Wie nooit bluft maakt een grote fout en wie teveel bluft eveneens. Maar hoe breng je dit in een goed evenwicht? Hoe bepaal je wanneer een bluf zinvol is en waaraan kun je zien wanneer en hoe vaak je tegen een bepaalde speler zou moeten bluffen om winstgevend tegen hem te spelen?

In dit artikel houden we ons bezig met de wiskundige achtergrond van blufs en laten we je mogelijke strategieën zien met een speltheoretische aanpak.

Zou je moeten bluffen?

Je bent op de river en op het board ligt .

Je bent behoorlijk zeker dat je tegenstander een made hand heeft. Uit zijn speelwijze trek je de conclusie dat hij heel waarschijnlijk AA, KK, of AK heeft. Je hebt zelf .

Je draw is niet aangekomen. In de pot ligt $100, jullie hebben beiden nog stacks van eveneens $100 en jij bent aan de beurt. Wanneer je checkt verlies je. (Of de tegenstander checkt behind en wint de showdown, óf hij bet en je stack is niet voldoende om een bluf te proberen.)

We nemen nu aan dat de tegenstander je hand correct gelezen heeft en je voor de river op een draw heeft gezet. Voor het gemak nemen we ook aan dat hij de kans van een gemiste flush (of gutshot) op 80% inschat en hij er tot 20% van uit gaat dat je met 87 op de river een straight hebt getroffen.

Wanneer je met 87 een straight gemaakt had zou je voor value betten. Helaas heb je deze keer echter niets getroffen. Je hebt twee mogelijkheden: Je geeft op en checkt, of je probeert de pot met een bluf te kopen. We nemen daarbij aan dat je in het geval van een bluf met de resterende $100 all-in gaat, dus precies de potsize bet. Hoe vaak zou je dan moeten bluffen?

Hoe kunnen we deze vraag beantwoorden?

Daarvoor hebben we wat wiskunde nodig. Maak je echter geen zorgen want het wordt niet al te moeilijk. Je hebt slechts wat algebra-kennis nodig van onderbouwniveau en wat gezond verstand. O, en bijna vergeten – de speltheorie hebben we ook nog nodig, maar die hoort eigenlijk bij het menselijk verstand.

De wiskundige vraagstelling

We hebben een paar beschrijvingen nodig. P staat voor de potsize terwijl B de eigen betsize is. De kans waarmee je (gezien vanuit de tegenstander) de beste hand hebt, noemen we q. Voor ons voorbeeld geldt dan dus: P = $100 B = $100 en q = 0,20. Wanneer je de inschatting van 20% voor niet realistisch houdt, dan kun je het getal natuurlijk veranderen. Dit verandert niets aan de berekening, alleen aan het resultaat. Op dezelfde manier kun je ook de potsize of de grootte van de eigen bet veranderen. De beschrijvingen veralgemeniseren slechts de vraagstelling.

Wanneer je bet moet je tevens je bluf-frequentie en de callfrequentie van de tegenstander benoemen. De eerste wordt aangeduid met x en de laatste met y. Met x duiden we dus de kans op een bluf aan. Wanneer je bijvoorbeeld met een kans van 30% (x = 0,3) bluft, dan zal je bluf-frequentie op de lange termijn bij 30% liggen. Uiteraard staat y voor de kans dat de tegenstander je bet callt.

Je uitgangsvraag draait dus om de optimale waarde van x.

De verwachte winst en pure strategieën

Laten we bij het begin beginnen. Wat is je doel bij het pokeren? Geld winnen! Om precies te zijn: zoveel mogelijk geld winnen. Telkens wanneer je voor een beslissing staat zou je jezelf moeten afvragen welke actie de grootste winst belooft.

In het voorbeeld zou je de best mogelijke hand natuurlijk voor value betten. Wanneer je dat doet, dan callt de tegenstander óf die bet (in y% van de gevallen) of hij foldt zijn hand (1 – y% van de gevallen). Wanneer hij callt win je de actuele pot en het bedrag waarmee de tegenstander je bet callt: P + B.

Wanneer hij foldt win je slechts de actuele pot: P. (“Actuele pot” heeft altijd betrekking op de potsize vóór je bet.) Zou je dus de beste hand hebben, dan bedraagt je te verwachten winst Ew (w staat voor “winnings”):

Ew = y(P + B) + (1 – y)P

Wanneer je niet de beste hand hebt (met een busted draw) wordt de zaak al wat moeilijker. Hier bluf je (in x% van de gevallen) óf je geeft de hand op en checkt (1 – x% van de gevallen).

Wanneer je bluft dan callt de tegenstander je bet (y% van de gevallen), óf hij foldt zijn hand (1 – y% van de gevallen). Wanneer hij callt verlies je jouw bet en is je winstverwachting negatief: -B. Wanneer hij foldt win je de actuele pot: P. Bij een bluf hangt je winstverwachting dus af van deze beide gevallen en bedraagt hij:

(1 – y)P – yB

Wanneer je checkt (en opgeeft) win je niets en is je te verwachten winst nul. Daarom bedraagt je te verwachten winst El (l staat voor losing) met een waardeloze hand:

El = (1 – x)0 + x[(1 – y)P – yB]

(Je hoeft nu alleen maar de bovengenoemde gevallen te combineren met de bijbehorende kansen). Het eerste deel geeft natuurlijk nul en kan weggestreept worden. Dus blijft over:

El = x[(1 – y)P – yB]

Wanneer je weet dat je tegenstander nooit callt (y = 0), wanneer hij bijvoorbeeld disconnected is, dan zou je te verwachten winst zijn:

El, y=0 = xP

Om in dit geval je winst te laten stijgen kiezen we x = 1. Dit houdt in dat je altijd bluft.

Wanneer je aan de andere kant echter weet dat je tegenstander altijd callt (y = 1), dan bedraagt je te verwachten winst:

El, y=1 = – xB

Om deze situatie optimaal te gebruiken kiezen we x = 0, en je bluft dus nooit. (Denk maar gewoon aan de spreuk “Never bluff a callingstation!”)

Met de kennis over de strategie van de tegenstander hebben we nu in twee speciale situaties optimale tegenstrategieën uitgewerkt. Dit waren echter extreme gevallen, de zogenaamde "pure strategieën". In werkelijkheid zullen de tegenstanders beduidend minder voorspelbaar zijn. Ze zullen de bet met een bepaalde waarschijnlijkheid callen, die tussen 0 en 1 ligt. Speltheoretisch gezegd zou dit een gemengde strategie zijn.

Optimale strategieën

Het is interessant dat je tegenstander een callfrequentie y kan kiezen, waarbij je te verwachten winst onafhankelijk van je strategie (x is willekeurig) altijd evenveel is. We noemen deze callfrequentie nu yopt (in de zin van een optimale waarde van y).

De waarde van yopt berekenen is vrij gemakkelijk. Wanneer je geïnteresseerd bent in de details van deze berekening, dan kun je ze in het aanhangsel vinden. Het resultaat ziet er in ieder geval zo uit:

yopt = P/(P + B)

In je voorbeeld geldt P = B = $100 en yopt = ½. Wanneer je tegenstander dus precies elke tweede keer callt, dan speelt hij optimaal tegen je. Wanneer de tegenstander dus volgens de strategie y = yopt speelt, dan zal je te verwachten winst overeenkomen met:

El,y=yopt = x[PB/(P + B) – PB/(P + B)] = 0

(Zet gewoon je uitkomst voor yopt in de algemene formule die we voor El hebben verkregen). Daar x in deze formule niet aanwezig is (eigenlijk alleen de nul), kun je met geen enkele strategie (onverschillig van welke waarde voor x geldt) je verwachte winst laten stijgen of verminderen.

Interessant genoeg is yopt slechts afhankelijk van de grootte van de pot en de betsize en is deze bijvoorbeeld onafhankelijk van q. Dit laat zien dat yopt niet het absolute optimum van y is. Wanneer bijvoorbeeld q = 1 geldt dus dat de tegenstander er zeker van is dat je de beste hand hebt en dan zal hij je niet elke tweede keer callen. Hij zal namelijk helemaal niet callen. Hij zou dan kiezen voor een strategie zoals y = 1. We zullen later echter zien in welke zin yopt toch optimaal is.

Op dezelfde wijze kunnen we x bepalen, opdat de verwachte winst van de tegenstander bij géén strategie (y is willekeurig) onveranderd blijft. Op dezelfde manier als hierboven, omschrijven we deze bijzondere waarde van x als xopt. Het berekenen van deze waarde is echter een beetje lastiger. Wanneer we de details buiten beschouwing laten krijgen we aan het eind:

xopt = qB/[(1 – q)(P + B)]

(Wanneer je geïnteresseerd bent in de details: Om de bovenstaande formule te berekenen moet je allereerst de verwachte winst vanuit het standpunt van de tegenstander aannemen (zie appendix), waarmee de berekening van de waardes van xopt dan gemakkelijk is. (zie appendix voor berekening)

Wanneer je zo vaak met de slechtere hand bluft, dan zal de verwachte winst van de tegenstander

Eop = (1 – q)P – qPB/(P + B)

zijn.

Daar y in deze formule niet aanwezig is kan die de verwachte winst gewoon niet veranderen.

In je voorbeeld geldt: P = B = $100 en q = 0,2. Daarmee is xopt = 1/8. Wanneer je met een kans van 1/8 bluft, dan kan de tegenstander, hoe goed hij ook oplet en je strategie kent (hij dus weet dat x = xopt), je niet uitspelen. Wanneer je minder vaak of vaker bluft, dan kan dit door een opmerkzame tegenstander met het passende antwoord uitgebuit worden. Tegen een heel goede tegenstander verzekert xopt je dus van de optimale strategie.

Hoe vaak zal een dergelijke goede speler je bet callen? Yopt levert het antwoord. Wanneer je volgens een x = xopt-strategie speelt, dan zou hij in principe iedere willekeurige strategie kunnen kiezen. Zoals je hebt gezien verandert daardoor zijn te wachten winst niet. Wanneer hij echter geen strategie kiest waarin y = yopt, dan kun je deze fout als oplettende speler uitbuiten en met een optimale strategie beantwoorden. Alleen wanneer hij y = yopt kiest kun je zijn strategie niet uitbuiten – los van welke strategie je zelf speelt: de te verwachten winst zal gelijk blijven. Je moet er altijd rekening mee houden dat afwijken van de xopt-strategie, de tegenstander de mogelijkheid geeft om door aanpassing je eigen strategie uit te buiten.

Je ziet nu in welke zin xopt en yopt optimaal zijn: Het zijn "unexploitable strategies".  In de speltheorie wordt een dergelijk paar aan strategieën (xopt, yopt) ook wel een Nash-equilibrium genoemd, dat als belangrijk concept ook zijn toepassing vindt in de wetenschap. (Ja het is dezelfde Nash als de personage uit de film “A Beautiful mind” en de winnaar van de Nobelprijs voor de wetenschap van 1994). En zoals je nu weet speelt het ook bij poker een centrale rol.

Te verwachten winst in een aantal bijzondere gevallen

Tot slot bekijken we twee tabellen met de te verwachten winsten in een aantal uitzonderingsgevallen. De eerste tabel laat de winst zien voor een gemiste draw (verliezershand):

De verwachte winst van de tegenstander is gewoon het negatieve van dat van jou, plus de $100 die al in de pot ligt. (Hij krijgt het eigen netto verlies van de inzetronde en de actuele pot. Wanneer je de pot wint is je netto verlies -$100 en krijgt hij niets. Of stel je de eenvoudigste situatie voor: Wanneer je te verwachten winst nul is, dan blijft je stack intact – precies zoals op het moment waarop de riverkaart komt. De pot kan dus niet aan jou toebehoren, hoewel iemand hem natuurlijk moet krijgen – hij zal dus voor de tegenstander zijn. In de taal van de speltheorie kun je dus zeggen dat ons voorbeeld – daar we tenslotte al op de river zijn – geen nulsomspel is.)

Terwijl jij altijd weet wanneer je bluft en wanneer je valuebet, weet je tegenstander dat niet. Voor hem (en waarschijnlijk voor jou ook) zou de volgende tabel heel verhelderend kunnen zijn. Hij laat je de te verwachten winst zien aan de hand van de mix van winnende en verliezende handen. In vergelijkbare situaties lig je tot 20% voor en tot 80% achter. Je totale te verwachten winst is dus qEw + (1 – q)El. (Opnieuw is het negatieve hiervan, plus de $100 uit de actuele pot, de verwachte winst van de tegenstander, Eop).

Samenvatting

Wanneer je tegen een goede tegenstander speelt, dan is een strategie volgens het Nash-equilibrium met xopt de beste keuze. In dit geval zal de tegenstander een door yopt aangegeven strategie kiezen. Anders maakt hij fouten (en is dan dus toch niet zo’n goede speler), die je door de beste tegenstrategie kunt uitbuiten. Wanneer hij er toe neigt om te vaak te callen, dan bluf je minder. Wanneer hij te zelden callt, dan bluf je meer. Wanneer je zijn werkelijke callfrequentie kunt inschatten kun je berekenen hoeveel minder (of meer) je zou moeten bluffen wanneer je, zoals we hierboven hebben laten zien, je verwachte winst maximaliseert.

Aanhangsel

Wanneer y = yopt, dan zal je te verwachten winst voor alle waardes van x gelijk zijn. Nemen we allereerst x = 0, dan  kun je niets winnen, wat in de volgende formule tot uitdrukking komt:

El, x=0 = 0

Nu nemen we x = 1. Je vergelijking naar El opgelost geeft:

El, x=1 = (1 – yopt)P – yoptB

Daar El, x=0 evenveel moet zijn als El, x=1 krijgen we:

(1 – yopt)P – yoptB = 0

Daaruit volgt:

(1 – yopt)P = yoptB

P – yoptP = yoptB

P = yopt(P + B)

En uiteindelijk:

yopt = P/(P + B)

Laten we de hand nu eens bekijken vanuit de invalshoek van de tegenstander. Allereerst benoemen we zijn verwachte winst als Eop. Daar hij – in tegenstelling tot jou – niet weet of je voor of achter ligt, hangt zijn te wachten winst ook af van q en is daarom iets gecompliceerder te berekenen:

Eop = – qyB + q(1 – y)0 + (1 – q)[xy(P + B) + x(1 – y)0 + (1 – x)P]

De eerste term heeft betrekking op het geval waarin je een winnende hand bet en de tegenstander door een call deze bet verliest. De tweede term staat voor het geval dat je de beste hand hebt, de tegenstander foldt en je niets wint of verliest. De rest staat voor de gevallen wanneer de tegenstander voor ligt.

Het eerste deel tussen de accolades laat het geval zien wanneer je bluft en de tegenstander door een call de actuele pot plus de eigen bet wint. Het middelste deel is het geval wanneer jij bluft en de tegenstander foldt en dus niets wint of verliest, terwijl de laatste term voor het geval staat dat je gewoon opgeeft en de tegenstander de pot wint (óf door een check-behind, óf doordat hij je met een bet tot folden brengt).

Kort gezegd krijgen we dan de volgende vergelijking:

Eop = (1 – q)[xy(P + B) + (1 – x)P] – qyB

Wanneer je tegenstander weet dat je nooit bluft (x = 0), hoe zou dan zijn beste strategie er uit zien? Natuurlijk zou je nooit kunnen callen. Dit kun je zien door in de bovenstaande formule x = 0 zetten.

Eop x=0 = (1 – q)P– qyB

Om die te maximaliseren moeten we y gelijk aan 0 stellen (nooit callen).

Weet de tegenstander aan de andere kant dat je altijd bluft (x = 1), dan is de beste strategie voor hem niet zo duidelijk. Bij x = 1 krijgen we:

Eop x=1 = (1 – q)y(P + B) – qyB = y[(1 – q)(P + B) – qB]

Wanneer

(1 – q)(P + B) – qB > 0

zo maximaliseert y = 1 (altijd callen) de verwachte winst van de tegenstander.

Wanneer

(1 – q)(P + B) – qB < 0

moet hij daarentegen y = 0 (nooit callen) kiezen.

(1 – q)(P + B) – qB < 0

betekent

P + B < q(P + 2B)

en brengt ons aan het einde

q > (P + B)/(P + 2B)

In je voorbeeld is P = B = $100. Wanneer q > 2/3 is, dan moet je tegenstander die bet nooit callen (ook wanneer hij weet dat je altijd bet), waarop je in dit geval altijd zou moeten bluffen. Wanneer q < 2/3 zou zijn, dan moet de tegenstander altijd callen (wanneer hij weet dat je altijd bluft). Denk er aan dat deze speciale waarde van q alleen maar afhangt van de grootte van de pot en de bet.

Wanneer x = xopt is, dan zal de verwachte winst van de tegenstander voor elke y gelijk zijn. Zoals reeds eerder stellen we allereerst y = 0. Je vergelijking van Eop:

Eop y=0 = (1 – q)(1 – xopt)P

Stellen we nu y = 1 neer. Dit keer krijgen we:

Eop y=1 = (1 – q)[ xopt (P + B) + (1 – xopt)P] – qB

Daar Eop y=0 gelijk aan Eop y=1 moet zijn, krijgen we:

(1 – q)(1 – xopt)P = (1 – q)[ xopt (P + B) + (1 – xopt)P] – qB

Dit betekent:

qB = (1 – q) xopt (P + B)

((1 – q)(1 – xopt)P komt aan beide kanten voor en kan dus weggestreept worden) en we krijgen:

xopt = qB/[(1 – q)(P + B)]

Betekenissen:

Bij het werken met kansen schrijf je gewoonlijk 0,2 in plaats van 20% en 0,5 in plaats van 50% etc. Met deze schrijfwijze is de kans op een onmogelijke uitkomst 0 (0%), terwijl een absolute zekere uitkomst de kans 1 (100%) heeft. Alle andere kansen liggen dus tussen 0 en 1.