Równowaga Nasha

Wprowadzenie

W tym artykule

• WstÄ™p do teorii gry
  
• Równowaga Nasha i jej zastosowanie
  
• CzÄ™stotliwość stawiania zakÅ‚adów i sprawdzania
  

Teoria gier jest gaÅ‚Ä™ziÄ… matematyki zajmujÄ…cÄ… siÄ™ analizÄ… sytuacji konfliktowych. SÅ‚owo "gra" oznacza w tym kontekÅ›cie sytuacjÄ™, w której wielu uczestników rywalizuje o dane zasoby. Każdy z nich korzysta z okreÅ›lonej strategii (możliwa jest miÄ™dzy nimi wspóÅ‚praca), która pozwala na pozyskanie części tych zasobów.

CentralnÄ… częściÄ… teorii gier jest tzw. równowaga Nasha. Opisuje ona sytuacjÄ™, w której miÄ™dzy zawodnikami panuje rodzaj strategicznej równowagi. Każdy z graczy jest przygotowany na akcje innego zawodnika i w każdej chwili potrafi odpowiednio zareagować. Nikt nie jest w stanie zwiÄ™kszyć swoich zysków poprzez jednostronne odejÅ›cie od strategii.

ArtykuÅ‚ ten stanowi swoiste wprowadzenie do teorii gier. Opisuje równowagÄ™ Nasha, a nastÄ™pnie próbuje znaleźć jej praktyczne zastosowanie na podstawie czÄ™stoÅ›ci blefów i sprawdzeÅ„. Dla zrozumienia artykuÅ‚u niezbÄ™dna jest niestety znajomość podstaw matematyki, w tym teorii macierzy.

Krótkie wprowadzenie do teorii gier

Gra w sensie matematycznym składa się z:

• wielu graczy
• wielu (czystych) strategii, z których każdy z graczy może skorzystać
• funkcji, która każdemu profilowi strategii (tak jest, każdy z graczy wybiera swojÄ… strategiÄ™), przyporzÄ…dkowuje okreÅ›lonÄ… wypÅ‚atÄ™, czyli udziaÅ‚ w dobrach. BÄ™dzie wiÄ™c to funkcja, która okreÅ›la zysk danego gracza, w zależnoÅ›ci od doboru strategii i jej wykorzystania w grze.

Dalsza część artykuÅ‚u bÄ™dzie zajmowaÅ‚a siÄ™ grÄ…, w której bierze udziaÅ‚ dwóch zawodników. Można jÄ… wtedy Å‚atwo wyrazić za pomocÄ… dwóch m x n macierzy A i B. Gracz nr 1 bÄ™dzie miaÅ‚ wiÄ™c do dyspozycji m strategii S1,...,Sm, a gracz nr 2 bÄ™dzie miaÅ‚ n strategii S'1,...,S'n. JeÅ›li gracz nr 1 wybierze strategiÄ™ Si, a gracz nr 2 S'j, to gracz nr 1 otrzyma wypÅ‚atÄ™ Aij, a gracz nr 2 Bij.

Wypłata gracza nr 1:

JeÅ›li na przykÅ‚ad A=B=I2 (2x2 jednostki macierzy), wtedy gracze otrzymajÄ… wypÅ‚atÄ™ 1, gdy obaj wybiorÄ… pierwszÄ… lub drugÄ… strategiÄ™ (jednoczeÅ›nie). W przeciwnym wypadku zarówno jeden, jak i drugi otrzyma wypÅ‚atÄ™.

Zawodnicy mogÄ… również używać mieszanych strategii. Znaczy to tyle, że pewne czyste strategie sÄ… użyte z okreÅ›lonym prawdopodobieÅ„stwem, które sumuje siÄ™ oczywiÅ›cie do 100%. Taka mieszana strategia jest wyrażona poprzez wektor p, gdzie pi to prawdopodobieÅ„stwo, że wybrana zostanie strategia numer "i".

Gdy gracz 1 korzysta z mieszanej strategii p z Rm i gracz 2 korzysta z mieszanej strategii q z Rn, otrzymuje siÄ™ wtedy wypÅ‚aty pAq i pBq. (Dla czystych strategii prowadzi to z powrotem do odpowiadajÄ…cych im pól we wÅ‚aÅ›ciwych macierzach).

Strategia p gracza 1 jest nazywana najlepszą odpowiedzią na strategię q gracza 2, jeśli przynosi graczowi 1 maksymalną wypłatę. Można to wyrazić tak:

pAq >= p'Aq dla wszystkich strategii p' gracza 1.

Analogicznie, strategia q gracza 2 jest nazywana najlepszą odpowiedzią na strategię p gracza 1, jeśli:

pBq >= pBq' dla wszystkich strategii q' gracza 2.

Para (p,q), na którÄ… skÅ‚ada siÄ™ strategia p gracza 1 i strategia q gracza 2, nazywana jest równowagÄ… Nasha (NGG), gdy p stanowi najlepszÄ… odpowiedź na q i q stanowi najlepszÄ… odpowiedź na p.

Udowodniono, że w każdej grze istnieje co najmniej jedno NGG (w rzeczywistości nie jest to konieczne dla czystych strategii).

NGG nie musi być optymalne w sensie Pareto. Ze stanem optymalnym Pareto mamy do czynienia wtedy, gdy jeśli jeden z graczy zwiększy swoją wypłatę, to odbędzie się to kosztem drugiego.

Analogicznie, para strategii optymalnych w sensie Pareto nie musi być wcale zgodna z NGG. NajsÅ‚ynniejszym, powszechnie znanym przykÅ‚adem jest chyba: "dylemat więźnia". Niestety nie bÄ™dziemy rozwodzić siÄ™ szerzej nad tymi ciekawymi pojÄ™ciami, podobnie jak innym terminem: strategii stabilnej ewolucyjnie i skorelowanej równowagi.

Jeśli obaj gracze mają tylko dwie czyste strategie, istnieje bardzo prosta metoda obliczenia NGG. Można ją wyjaśnić na podstawie powyższego przykładu A=B=I2.

Strategia p gracza 1 ma naturalnie formÄ™ (a,1-a) z a [0,1], strategia gracza 2 ma formÄ™ (b,1-b) dla b [0,1]. NastÄ™pnie dla strategii (b,1-b) gracza 2, znajduje siÄ™ najlepszÄ… odpowiedź gracza 1 w ten sposób, że porównuje siÄ™ wypÅ‚aty dla strategii (1,0) i (0,1) (również czyste strategie, czyli oba wiersze w macierzy).

JeÅ›li gracz 1 wybierze pierwszy wiersz, jego wypÅ‚ata to b, przy drugim wierszu bÄ™dzie to 1-b. Dla b>1-b <=> b>0,5 najlepszÄ… odpowiedziÄ… bÄ™dzie pierwszy wiersz, tzn. a=1. Dla b<0,5 bÄ™dzie to drugi wiersz, tzn. a=0 i dla b=0,5 otrzymuje siÄ™ za każdym razem wypÅ‚atÄ™ równÄ… 1 i wtedy dowolna strategia jest najlepszÄ… odpowiedziÄ….

To samo dotyczy gracza nr 2. W przykładzie na podstawie symetrii otrzymuje się naturalnie b=1 dla a>0,5, b=0 dla a<0,5 i b z przedziału [0,1] dla a=0,5.

NGG sÄ… z definicji parÄ… strategii, w której obie strategie sÄ… za każdym razem najlepszÄ… odpowiedziÄ… dla aktualnie obowiÄ…zujÄ…cych strategii.

NGG tych gier wyniesie więc ((1,0),(1,0)), ((0,1),(0,1)) i ((0,5,0,5),(0,5,0,5)).

CzÄ™stotliwoÅ›ci stawiania zakÅ‚adów/sprawdzania

Rozważ pewną sytuację. Gracz 1 (bez pozycji) i gracz 2 (z pozycją) są na riverze i siła kart gracza 2 jest dosyć dokładnie określona. Gracz 1 wie, czy jest na prowadzeniu czy też nie, i gracz 2 ma tego świadomość.

JeÅ›li gracz 1 może pokonać gracza 2, to powinien wykonać value bet (gracz 2 bÄ™dzie zawsze graÅ‚ check behind, ponieważ gracz 1 wie, czy prowadzi czy też nie). To, jak czÄ™sto powinien blefować, zależy oczywiÅ›cie od przeciwnika. Przeciwko graczowi typu calling station bÄ™dzie to oczywiÅ›cie chybionym pomysÅ‚em, przeciwko innym sÅ‚abym graczom można by spróbować. Decyzja gracza 2 o tym, czy sprawdzić zakÅ‚ad czy też spasować, jest zależna od gracza 1.

SytuacjÄ™ tÄ™ można modelować jako grÄ™ w nastÄ™pujÄ…cy sposób:

• Gracz 1 ma (czyste) strategie blefowania i nie blefowania. Mieszana strategia (a,1-a) oznacza to, że gracz 1 z prawdopodobieÅ„stwem a wykona blef, gdy stawia zakÅ‚ad (a nie, że z prawdopodobieÅ„stwem a zablefuje, gdy ma sÅ‚abe karty. Ae o tym wiÄ™cej w trzecim rozdziale).

• Gracz 2 ma (czyste) strategie sprawdzania i pasowania. Mieszana strategia (b,1-b), oznacza to, że z prawdopodobieÅ„stwem b sprawdzi, gdy gracz 1 postawi zakÅ‚ad.

Stosunkowo łatwo można określić najlepszą odpowiedź na strategię przeciwnika.
(Bet gracza 1 wynosi wielokrotność X wielkości puli):

By wykonać dochodowe sprawdzenie, gracz 2 musi w x*Pot / (x+2) * Pot = x/x+2 przypadków być na prowadzeniu. Oznacza to, że wobec strategii (a,1-a), jego najlepszÄ… odpowiedziÄ… bÄ™dzie fold (wiÄ™c (0,1) b=0), gdy a=1.

Sprawdzenie będzie najlepszą odpowiedzią, gdy ( (1,0) b=1), dla a>x/x+2. Dla a=x/x+2 każda strategia (b,1-b) dla b z przedziału [0,1] będzie najlepszą odpowiedzią.

By gracz 1 mógÅ‚ z zyskiem blefować, jego zagranie musi powieść siÄ™ w x*Pot/(x+1)*Pot = x/x+1, tzn. gracz 2 musi przynajmniej w x/x+1 przypadków spasować.

Oznacza to tyle, że gracz 1 ma najlepszą odpowiedź na (b,1-b) dla b>x/x+1, gdy nigdy nie blefuje (czyli (0,1) lub a=0), dla ciągle blefującego (czyli (1,0) lub a=1) i dla b=x/x+1 każda strategia będzie najlepszą odpowiedzią.

Otrzymujemy także kilka NGG ((x/x+2),1-x/x+2),(x/x+1,1-x/x+1)).

Praktyczne zastosowanie równowagi Nasha

Zastanówmy siÄ™ nad tÄ… sytuacjÄ… z punktu widzenia drugiego gracza. Przyjmijmy, że x=1, czyli gracz 1 stawia zakÅ‚ady w wysokoÅ›ci puli. Zgodnie z NGG strategia przyjmie nastÄ™pujÄ…cÄ… postać (0,5,0,5). JeÅ›li w sposób przypadkowy w 50% wykona siÄ™ sprawdzenie i w 50% spasuje, to dziÄ™ki temu przeciwnik nie bÄ™dzie w stanie zyskać nad tobÄ… przewagi. Chodzi o to, że przeciwnik nawet poprzez dobre decyzje nie bÄ™dzie w stanie zwiÄ™kszyć swojej wartoÅ›ci oczekiwanej.

Każda jego strategia jest natychmiastowÄ… dobrÄ… odpowiedziÄ… na naszÄ… strategie. Strategia (0,5,0,5) nie zawsze bÄ™dzie najlepszÄ… odpowiedzÄ… na strategiÄ™ pierwszego gracza. Chcesz oczywiÅ›cie zawsze reagować optymalnie na dziaÅ‚ania innego gracza. JeÅ›li przeciwnik bÄ™dzie np. murkiem, dobór odpowiedniej strategii nie powinien sprawić wiÄ™kszych problemów. Wtedy trzeba by sprawdzać rzadziej niż w 50% sytuacji.

Dobry przeciwnik w takiej sytuacji ciÄ…gle bÄ™dzie próbowaÅ‚ zmieniać swojÄ… strategiÄ™, by dopasować jÄ… do twojego stylu gry, podczas gdy ty bÄ™dziesz na te próby dopasowania próbowaÅ‚ odpowiednio zareagować, itd. Najlepiej byÅ‚oby oczywiÅ›cie stale znajdować siÄ™ o krok naprzód od przeciwnika, a także lepiej przewidywać sytuacjÄ™. DziÄ™ki temu w okreÅ›lonym momencie gry można by przewidzieć, czy przeciwnik wykona blef czy też nie.

Podczas swojej pokerowej kariery na pewno trafisz na przeciwników, którzy tÄ™ umiejÄ™tność posiedli w lepszym stopniu od ciebie. Przeciwko nim najlepszym rozwiÄ…zaniem bÄ™dzie przyjÄ™cie strategii, która nie pozwoli innemu graczowi na zyskanie przewagi. DziÄ™ki temu lepsze ready nie zwiÄ™kszyÅ‚yby jego zysku.

Dodatek

a) JeÅ›li chcesz przeprowadzać akcjÄ™ w 50% przypadków, zależy ci na tym, by twoja decyzja zostaÅ‚a podjÄ™ta w sposób jak najbardziej losowy. System, z którego bÄ™dziesz korzystaÅ‚, nie może być Å‚atwy do odgadniÄ™cia dla przeciwnika. Najprostszym generatorem przypadku może być sekundnik zegarka lub karta na riverze. Wykonasz sprawdzenie, gdy ich wartość bÄ™dzie parzysta, zaÅ› w przeciwnym wypadku spasujesz. Taki sposób może stać siÄ™ jednak możliwy do odgadniÄ™cia, gdy jest zbyt oczywisty, zaÅ› przeciwnik stosunkowo uważny.

b) W rozdziale 2 zostałeś poinformowany, że strategia (a,1-a) gracza 1 oznacza, że wykona blef z prawdopodobieństwem a, a nie, że z prawdopodobieństwem a zagra blef, gdy ma złe karty. Informacja ta nie ma jednak praktycznego zastosowania. Trzeba jeszcze wziąć pod uwagę to, jak często faktycznie ma dobre karty a jak często ich nie ma.

Rozpatrz pewien przykÅ‚ad. StóÅ‚ to JT42. Gracz 1 ma oczywistego drawa (strit lub kolor), zaÅ› gracz 2 ma gotowÄ… rÄ™kÄ™. JeÅ›li na riverze pojawi siÄ™ 6, a gracz 1 ma np. KQ, to musi siÄ™ on zastanowić nad tym, jak czÄ™sto powinien blefować. W tym celu musi siÄ™ zastanowić nad tym, jak czÄ™sto wystÄ™puje kolor.

(A9-A5, A3, A2, 97, 87, 86, 76, 75, 65, 53) mogÄ… stanowić przykÅ‚adowy realny zakres, skÅ‚adajÄ…cy siÄ™ w sumie z 14 rÄ…k. Gracz 1 bÄ™dzie miaÅ‚ nietrafionego drawa do strita z takÄ… samÄ… czÄ™stoÅ›ciÄ…. (Z zakresu wypada 7 kombinacji KQ i 98, ponieważ gracz majÄ…cy OESD + FD rozegraÅ‚by swoje karty w inny sposób).

JeÅ›li gracz wykona blef w 1/3 przypadków, bÄ™dzie potrzebowaÅ‚ do tego 7 możliwych rÄ…k (7/(14+7)=1/3). Z nietrafionym drawem musi blefować w poÅ‚owie sytuacji: (7/14 = 1/2).

JeÅ›li w tej sytuacji wykluczy siÄ™ również 98 (np. z powodu akcji przed flopem), wtedy gracz ten w 33% zdarzeÅ„ nie bÄ™dzie miaÅ‚ koloru, wiÄ™c powinien blefować częściej.

c) Gracz 2 spodziewa siÄ™, że przeciwnik bÄ™dzie blefowaÅ‚ z czÄ™stoÅ›ciÄ… odpowiadajÄ…cÄ… NGG, wiÄ™c powinien wykonać call, kiedy jego rÄ™ka "blokuje" możliwe karty przeciwnika. Chodzi mianowicie o karty, które przeciwnik próbuje reprezentować podczas próby bluffu.

Niech gracz 2 ma np AJ z przykÅ‚adu b). W ten sposób wykluczy on 7 z 14 możliwych rÄ…k do koloru, które to zawierajÄ… asa (te karty zostaÅ‚y zablokowane). Gdy gracz 1 wykona teraz dziaÅ‚anie opisane w przykÅ‚adzie b), zrobi to z faÅ‚szywÄ… czÄ™stoÅ›ciÄ… blefów dla swojego nietrafionego drawa. NiesÅ‚usznie wydaje mu siÄ™ bowiem, że mógÅ‚by mieć flusha częściej, niż jest to możliwe. W takiej sytuacji powinien blefować tylko w 33% sytuacji, zamiast w 50%.

Podobna sytuacja wystÄ…pić może, gdy na riverze pojawi siÄ™ 9 zamiast 6, zaÅ› gracz 2 ma na rÄ™ce QQ. Przeciwnik, gdy wykonuje bet, reprezentuje KQ i również w tym przypadku poÅ‚owa kombinacji jest niemożliwa.