Nashovo ekvilibrium a blafovací/callovací frekvence

Úvod

V tomto článku

• Úvod do teorie her
  
• Nashovo ekvilibrium a jeho implikace
  
• Frekvence sázení a dorovnávání

Teorie her je odvětví matematiky, které se zabývá určitými druhy konfliktních situací neboli hrami. V tomto kontextu se termín "hra" používá pro takové situace, kdy několik subjektů soupeří o omezené zdroje a každý z nich se při tom řídí svojí zvolenou strategií (může i s někým spolupracovat) a může dosáhnout zisku.

Ústředním tématem v teorii her je tzv. Nashovo ekvilibrium, které popisuje stav, při němž mezi soupeřícími subjekty nastává strategická rovnováha a všechny subjekty vědí, jaká je nejlepší reakce na určitou akci soupeře. Žádný ze subjektů (hráčů) nemá možnost zvýšit svůj zisk tím, že provede jednostrannou změnu ve své strategii.

V našem článku se seznámíte se základy teorie her, Nashovými ekvilibrii jako strategickými řešeními a na příkladu frekvencí sázení a dorovnávání si ukážeme aplikaci Nashova ekvilibria v praxi. Abyste obsahu článku mohli plně porozumět, je nutné, abyste měli alespoň základní znalosti z teorie matic.

Stručný úvod do teorie her

V matematice se hra skládá z těchto prvků:

• určitého počtu hráčů
• souboru určitých (čistých) strategií, podle kterých mohou jednotliví hráči postupovat
• funkce, která každé jednotlivé strategii (kterou si některý hráč vybere) přiřazuje určitý zisk. Určuje tedy, jakého zisku tento hráč dosáhne, když se danou strategií bude řídit

Dále se budeme věnovat pouze situacím, kdy se hry účastní jenom dva hráči. Takovou hru můžeme snadno popsat s pomocí dvou matic A a B o počtu m řádků x n sloupců. Hráč 1 má potom m strategií (S1,...,Sm) a hráč 2 má n strategií (S'1,...,S'n). Pokud si hráč 1 vybere strategii Si a hráč 2 zvolí S'j, pak bude výplata pro hráče 1 ve výši Aij a pro hráče 2 ve výši Bij.

Výplata hráče 1:

Hráči mohou také používat smíšenou strategii, to znamená, že z několika čistých strategií si vybírají s určitou pravděpodobností. Součet těchto pravděpodobností je pochopitelně 1. Smíšenou strategii lze popsat s pomocí vektoru p, kde pi reprezentuje pravděpodobnost, se kterou se hráč bude řídit strategií číslo i.

Pokud hráč 1 používá smíšenou strategii p a hráč 2 smíšenou strategii q, potom oba obdrží výplatu ve výši pAq, resp. pBq. (Pro čisté strategie je možné najít odpovídající výsledek v příslušné matici.)

Pro hráče 1 si nazveme strategii p "nejlepší reakcí" na strategii q hráče 2, jestliže p přinese hráči 1 nejvyšší možnou výplatu neboli jestliže platí tato nerovnice:

pAq >= p'Aq pro všechny strategie p' hráče 1.

Analogicky bude strategie q hráče 2 nejlepší reakcí na strategii p hráče 1 tehdy, pokud platí nerovnice:

pBq >= pBq' pro všechny strategie q' hráče 2.

Dvojice strategií (p,q), kde p je strategie hráče 1 a q je strategie hráče 2, se nazývá "Nashovo ekvilibrium (NEQ)", jestliže p je nejlepší reakcí na q a q je nejlepší reakcí na p.

Lze dokázat, že v každé hře existuje minimálně jedno NEQ (byť nemusí nutně nastat při čistých strategiích).

NEQ nemusí být Paretovým optimem. (NEQ bude paretooptimální, pokud není možné NEQ změnit tak, aby jeden z hráčů získal větší výplatu, aniž by přitom druhý hráč obdržel výplatu nižší.)

Naopak, paretooptimální dvojice strategií nemusí být ještě nutně NEQ. Dobře známým příkladem takové dvojice strategií je tzv. vězňovo dilema, ale tomuto tématu se zde nebudeme podrobně věnovat. Zajímavé jsou i jiné koncepty ekvilibria; ani ty zde nebudeme rozebírat. Patří k nim například evolučně stabilní strategie nebo korelované ekvilibrium.

Jestliže se oba dva hráči řídí čistými strategiemi, potom je možné velmi jednoduchou metodou zjistit, jaké strategie povedou k NEQ - použije se zde výše uvedený příklad A=B=I2.

Strategie p hráče 1 bude (a,1-a), kde a je [0,1], zatímco strategie q hráče 2 bude (b,1-b), kde b je rovněž [0,1]. Nyní najdeme nejlepší reakci hráče 1 na strategii (b,1-b) hráče 2: to provedeme porovnáním výplat při strategiích (1,0) a (0,1) (tj. výplaty při čistých strategiích v každém ze dvou řádků).

Pokud si hráč 1 vybere první řádek matice, pak je jeho výplata b, a pokud si zvolí řádek druhý, pak je jeho výplata 1-b. Pro b > 1-b, což je ekvivalentní s b > 0.5, je nejlepší reakce v prvním řádku, jinými slovy a = 1. Analogicky pro b < 0.5 je nejlepší zvolit řádek 2, tedy a = 0. Pro b = 0.5 hráč 1 obdrží výplatu 1/2. Proto je každá strategie i nejlepší reakcí.

Tento postup zopakujeme pro hráče 2. Příklad je zrcadlově obrácen, a proto získáme b=1 pro a > 0.5, b = 0 pro a < 0.5 a libovolné b [0,1] pro a = 0.5.

Nashova ekvilibria jsou definována jako dvojice strategií, kde je každá z nich nejlepší reakcí na tu druhou. Je jasné, že NEQ(s) je možné vyjádřit i graficky jako průsečík(y).

NEQs v naší hře budou  ((1,0),(1,0)), ((0,1),(0,1)) a ((0.5,0.5),(0.5,0.5)).

Sázkové/callovací frekvence

Podívejme se na následující situaci: Hráč 1 (mimo pozici) a hráč 2 (v pozici) jsou na riveru a je dost jasné, jak silnou handu drží hráč 2. Hráč 1 ví, zda je lepší, a hráč 2 ví, že to hráč 1 ví.

Pokud hráč 1 poráží handu hráče 2, potom hráč 1 pochopitelně vsadí value bet (hráč 2 vždycky checkne behind, neboť hráč 1 ví, kdo je lepší). Odpověď na otázku, jak často by hráč 1 měl blafovat, pochopitelně závisí na protihráči. Neměl by například logicky blafovat proti calling station, ale měl by zkusit blaf proti slabému hráči. Pro hráče 2 rozhodnutí, zda po betu hráče 1 dorovnat, nebo zahodit, rovněž závisí na soupeřovi.

Tuto situaci můžeme namodelovat následovně ve formě hry:

• hráč 1 má (čisté) strategie blafovat a zdržet se blafování. Smíšená strategie (a,1-a) by potom byla taková strategie, kde hráč 1 bude při svém sázení blafovat  s pravděpodobností a (ale nikoli strategie, kdy hráč 1 bude blafovat s pravděpodobností a, pokud má špatnou handu. Více o tom si řekneme ve třetí části.)

• hráč 2 má (čisté) strategie call a fold. Smíšená strategie (b,1-b) by potom byla taková strategie, kde hráč 2 dorovná s pravděpodobností b, jestliže hráč 1 vsadí.

Jak si nyní ukážeme, je poměrně snadné najít nejlepší reakce na strategie soupeřů (předpokládejme, že hráč 1 bude sázet bety ve výši x*velikost potu):

Aby mohl hráč 2 profitabilně dorovnat, musí být lepší v x*pot/((1+2x)*pot) = x/(1+2x) případů. To znamená, že nejlepší reakcí hráče 2 na strategii (a,1-a) je fold (tj. (0,1) neboli b=0), pokud a < x/(1+2x). 

Platí-li a>x/(1+2x), pak nejlepší reakcí hráče 2 je call (tj. (1,0) neboli b=1). Pokud platí a=x/(1+2x), potom je nejlepší každá strategie (b,1-b), kde b je [0,1].

Aby hráč 1 mohl profitabilně blafovat, blaf musí být úspěšný v x*pot/((x+1)*pot) = x/(x+1) případů, tj. hráč 2 musí zahodit přinejmenším v x/(x+1) případů.

To znamená, že nejlepší reakcí hráče 1 na (b,1-b) při b>x/(x+1) je nikdy neblafovat (tj. (0,1) neboli a=0). Nejlepší reakcí hráče 1 na b je vždycky blafovat (tj. (1,0) neboli a=1), a všechny strategie jsou nejlepší reakcí při b=x/(x+1).

Získáme právě jediné NEQ: x/(1+2x),1-x/(1+2x),(x/(x+1)),1-x/(x+1)).

Praktické implikace Nashova ekvilibria

Podívejme se na situaci z pohledu hráče 2. Předpokládejme, že x = 1, tj. hráč 1 vsází ve výši potu. Pak je NEQ (0.5,0.5). Pokud hráč 2 dorovnává v 50% případů a zahazuje v 50% případů, potom strategie hráče 2 je bezpečná, tj. jeho protivník nemůže udělat žádné rozhodnutí, které by zvýšilo jeho expected value.

Každá ze strategií je stejně dobrou reakcí na naši strategii. Strategie (0.5,0.5) však samozřejmě není nejlepší reakcí na strategii hráče 1. Ideálně bychom vždy mohli najít nejlepší reakci. Pokud je například soupeř rock, potom je velmi snadné predikovat jeho strategii a zvolit nejlepší reakci. Proti takovému hráči bychom ani neuvažovali o tom, že budeme dorovnávat v 50%.

V praxi ovšem dobří hráči budou svoji strategii neustále měnit a přizpůsobovat ji vašemu stylu, zatímco vy se budete naopak snažit přizpůsobovat jejich adaptaci atd. Ideálně budete vždy o krok napřed před svým soupeřem, takže budete uvažovat na úrovni o jeden stupeň vyšší než on. Potom budete moci odhadovat strategie svého soupeře poměrně přesně a například odhadnout, zda protivník právě v tento moment ve hře pravděpodobně blafuje (zde už používáme slovo "hra" v tom významu, jak jsme zvyklí).

Naneštěstí vždycky se budete střetávat i s hráči, kteří jsou lepší nežli vy, takže přemýšlejí na úrovni o jeden stupeň vyšší. Proti takovým soupeřům je nejlepší používat bezpečnou strategii. Při ní soupeř nemůže nijak využít fakt, že je schopen vás přečíst lépe než vy jeho. Kdybyste si se soupeřem vyměnili karty, potom byste vyhráli přesně tolik, kolik by vyhrál on proti vám, neboť můžete opět zvolit strategii, která je v NEQ.

Poznámky na závěr

a) Pokud jste se rozhodli provést určitou akci například v 50% případů, potom by vaše rozhodnutí, zda ji zrovna v tento moment provedete, nebo ne, mělo být co nejvíce náhodné a nemělo by se řídit žádným systémem, který je možné vysledovat. Je mnoho věcí, které můžete použít jako jednoduchý náhodný generátor, například vteřinová ručička na vašich hodinkách. Také můžete dorovnat na riveru jenom tehdy, když na něj přijde karta se sudou hodnotou. I takový náhodný generátor však mohou někdy soupeři přečíst, je-li příliš zřejmý a oni jsou velmi všímaví.

b) Jak jsme už napsali ve druhé části, pokud hráč 1 používá strategii (a,1-a), znamená to, že hráč 1 bude blafovat s pravděpodobností a obecně, nikoli že hráč 1 bude blafovat s pravděpodobností a tehdy, pokud má špatnou handu. Proto vám hodnota a nutně neříká, jak často byste měli blafovat, jste-li hráč 1. Musíte vědět, jak často budete ve skutečnosti mít handu, kterou byste chtěli blafem reprezentovat.

Představte si třeba board JsTs4 2, kde můžete velmi pravděpodobně mít draw (straight či flush), a hráč 2 má made handu. Pokud je river 6s, což kompletuje možné flush draws, a vy držíte KQ, potom k tomu, abyste určili, jak často máte blafovat, byste měli zvážit, jak často budete mít flush.

(As9s-As5s, As3s, As2s, 9s7s, 8s7s, 8s6s, 7s6s, 7s5s, 6s5s, 5s3s) je příkladem realistické range, kterou tvoří celkem 14 různých hand. Nedokončenou straight draw budete držet přesně stejně často (7 kombinací KQ a 7 kombinací 98, za předpokladu, že OESD+FD byste už dříve hráli jinak).

Jestliže chcete nyní blafovat s pravděpodobností 1/3, tj. blaf v jedné třetině případů, potom na blaf potřebujete 7 různých hand (7/(14+7)=1/3). Takže když držíte busted draw, měli byste blafovat v 50% případů: (7/14 = 1/2).  

Když v téhle situaci můžete vyloučit 98 (třeba s ohledem na akci před flopem), pak nemáte flush jen ve 33% případů, což znamená, že byste měli blafovat ve všech případech, kdy flush nemáte. 

c) Jste-li v pozici hráče 2 a očekáváte, že hráč 1 bude blafovat s frekvencí, která odpovídá přibližně NEQ, potom byste měli dorovnat vždy, když v ruce držíte "blockera". Blocker je karta, která patří do hand, jež váš soupeř reprezentuje. Je tedy méně pravděpodobné, že to, co se snaží reprezentovat, skutečně má.

Máte-li kupříkladu AsJd v příkladu v bodu b), potom 7 ze 14 hand na flush nemůže soupeř utvořit, a jsou tedy "blokované". Když protihráč použije metodu popsanou v b), potom spočítá nesprávnou blafovací frekvenci pro svoje busted draws, protože si bude myslet, že může reprezentovat flush ve více případech, než jak tomu skutečně je. Takto bude blafovat v 50% případů namísto 33%.

Situace bude podobná, jestliže river je 9 místo 6 a vy držíte QQ. Jestliže soupeř vsadí a chce reprezentovat KQ, potom polovinu kombinací KQ můžete vyloučit.