Równowaga Nasha

Wprowadzenie

W tym artykule

• Wstęp do teorii gry
  
• Równowaga Nasha i jej zastosowanie
  
• Częstotliwość stawiania zakładów i sprawdzania
  

Teoria gier jest gałęzią matematyki zajmującą się analizą sytuacji konfliktowych. Słowo "gra" oznacza w tym kontekście sytuację, w której wielu uczestników rywalizuje o dane zasoby. Każdy z nich korzysta z określonej strategii (możliwa jest między nimi współpraca), która pozwala na pozyskanie części tych zasobów.

Centralną częścią teorii gier jest tzw. równowaga Nasha. Opisuje ona sytuację, w której między zawodnikami panuje rodzaj strategicznej równowagi. Każdy z graczy jest przygotowany na akcje innego zawodnika i w każdej chwili potrafi odpowiednio zareagować. Nikt nie jest w stanie zwiększyć swoich zysków poprzez jednostronne odejście od strategii.

Artykuł ten stanowi swoiste wprowadzenie do teorii gier. Opisuje równowagę Nasha, a następnie próbuje znaleźć jej praktyczne zastosowanie na podstawie częstości blefów i sprawdzeń. Dla zrozumienia artykułu niezbędna jest niestety znajomość podstaw matematyki, w tym teorii macierzy.

Krótkie wprowadzenie do teorii gier

Gra w sensie matematycznym składa się z:

• wielu graczy
• wielu (czystych) strategii, z których każdy z graczy może skorzystać
• funkcji, która każdemu profilowi strategii (tak jest, każdy z graczy wybiera swoją strategię), przyporządkowuje określoną wypłatę, czyli udział w dobrach. Będzie więc to funkcja, która określa zysk danego gracza, w zależności od doboru strategii i jej wykorzystania w grze.

Dalsza część artykułu będzie zajmowała się grą, w której bierze udział dwóch zawodników. Można ją wtedy łatwo wyrazić za pomocą dwóch m x n macierzy A i B. Gracz nr 1 będzie miał więc do dyspozycji m strategii S1,...,Sm, a gracz nr 2 będzie miał n strategii S'1,...,S'n. Jeśli gracz nr 1 wybierze strategię Si, a gracz nr 2 S'j, to gracz nr 1 otrzyma wypłatę Aij, a gracz nr 2 Bij.

Wypłata gracza nr 1:

Jeśli na przykład A=B=I2 (2x2 jednostki macierzy), wtedy gracze otrzymają wypłatę 1, gdy obaj wybiorą pierwszą lub drugą strategię (jednocześnie). W przeciwnym wypadku zarówno jeden, jak i drugi otrzyma wypłatę 0.

Zawodnicy mogą również używać mieszanych strategii. Znaczy to tyle, że pewne czyste strategie są użyte z określonym prawdopodobieństwem, które sumuje się oczywiście do 100%. Taka mieszana strategia jest wyrażona poprzez wektor p, gdzie pi to prawdopodobieństwo, że wybrana zostanie strategia numer "i".

Gdy gracz 1 korzysta z mieszanej strategii p i gracz 2 korzysta z mieszanej strategii q, otrzymuje się wtedy wypłaty pAq i pBq. (Dla czystych strategii prowadzi to z powrotem do odpowiadających im pól we właściwych macierzach).

Strategia p gracza 1 jest nazywana najlepszą odpowiedzią na strategię q gracza 2, jeśli przynosi graczowi 1 maksymalną wypłatę. Można to wyrazić tak:

pAq >= p'Aq dla wszystkich strategii p' gracza 1.

Analogicznie, strategia q gracza 2 jest nazywana najlepszą odpowiedzią na strategię p gracza 1, jeśli:

pBq >= pBq' dla wszystkich strategii q' gracza 2.

Para (p,q), na którą składa się strategia p gracza 1 i strategia q gracza 2, nazywana jest równowagą Nasha (NEQ), gdy p stanowi najlepszą odpowiedź na q i q stanowi najlepszą odpowiedź na p.

Udowodniono, że w każdej grze istnieje co najmniej jedno NEQ (w rzeczywistości nie jest to konieczne dla czystych strategii).

NEQ nie musi być optymalne w sensie Pareto. Ze stanem optymalnym Pareto mamy do czynienia wtedy, gdy jeśli jeden z graczy zwiększy swoją wypłatę, to odbędzie się to kosztem drugiego.

Analogicznie, para strategii optymalnych w sensie Pareto nie musi być wcale zgodna z NEQ. Najsłynniejszym, powszechnie znanym przykładem jest chyba: "dylemat więźnia". Niestety nie będziemy rozwodzić się szerzej nad tymi ciekawymi pojęciami, podobnie jak innym terminem: strategii stabilnej ewolucyjnie i skorelowanej równowagi.

Jeśli obaj gracze mają tylko dwie czyste strategie, istnieje bardzo prosta metoda obliczenia NEQ. Można ją wyjaśnić na podstawie powyższego przykładu A=B=I2.

Strategia p gracza 1 ma naturalnie formę (a,1-a) z a [0,1], strategia gracza 2 ma formę (b,1-b) dla b [0,1]. Następnie dla strategii (b,1-b) gracza 2, znajduje się najlepszą odpowiedź gracza 1 w ten sposób, że porównuje się wypłaty dla strategii (1,0) i (0,1) (również czyste strategie, czyli oba wiersze w macierzy).

Jeśli gracz 1 wybierze pierwszy wiersz, jego wypłata to b, przy drugim wierszu będzie to 1-b. Dla b>1-b <=> b>0,5 najlepszą odpowiedzią będzie pierwszy wiersz, tzn. a=1. Dla b<0,5 będzie to drugi wiersz, tzn. a=0 i dla b=0,5 otrzymuje się za każdym razem wypłatę równą 1/2 i wtedy dowolna strategia jest najlepszą odpowiedzią.

To samo dotyczy gracza nr 2. W przykładzie na podstawie symetrii otrzymuje się naturalnie b=1 dla a>0,5, b=0 dla a<0,5 i b z przedziału [0,1] dla a=0,5.

NEQ są z definicji parą strategii, w której obie strategie są za każdym razem najlepszą odpowiedzią dla aktualnie obowiązujących strategii.

NEQ tych gier wyniesie więc ((1,0),(1,0)), ((0,1),(0,1)) i ((0,5,0,5),(0,5,0,5)).

Częstotliwości stawiania zakładów/sprawdzania

Rozważ pewną sytuację. Gracz 1 (bez pozycji) i gracz 2 (z pozycją) są na riverze i siła kart gracza 2 jest dosyć dokładnie określona. Gracz 1 wie, czy jest na prowadzeniu czy też nie, i gracz 2 ma tego świadomość.

Jeśli gracz 1 może pokonać gracza 2, to powinien wykonać value bet (gracz 2 będzie zawsze grał check behind, ponieważ gracz 1 wie, czy prowadzi czy też nie). To, jak często powinien blefować, zależy oczywiście od przeciwnika. Przeciwko graczowi typu calling station będzie to oczywiście chybionym pomysłem, przeciwko innym słabym graczom można by spróbować. Decyzja gracza 2 o tym, czy sprawdzić zakład czy też spasować, jest zależna od gracza 1.

Sytuację tę można modelować jako grę w następujący sposób:

• Gracz 1 ma (czyste) strategie blefowania i nie blefowania. Mieszana strategia (a,1-a) oznacza to, że gracz 1 z prawdopodobieństwem a wykona blef, gdy stawia zakład (a nie, że z prawdopodobieństwem a zablefuje, gdy ma słabe karty. Ae o tym więcej w trzecim rozdziale).

• Gracz 2 ma (czyste) strategie sprawdzania i pasowania. Mieszana strategia (b,1-b), oznacza to, że z prawdopodobieństwem b sprawdzi, gdy gracz 1 postawi zakład.

Stosunkowo łatwo można określić najlepszą odpowiedź na strategię przeciwnika.
(Bet gracza 1 wynosi wielokrotność X wielkości puli):

By wykonać dochodowe sprawdzenie, gracz 2 musi w x*Pot / (x+2) * Pot = x/(1+2x) przypadków być na prowadzeniu. Oznacza to, że wobec strategii (a,1-a), jego najlepszą odpowiedzią będzie fold (więc (0,1) b=0), gdy a < x/(1+2x).

Sprawdzenie będzie najlepszą odpowiedzią, gdy ( (1,0) b=1), dla a>x/(1+2x). Dla a=x/(1+2x) każda strategia (b,1-b) dla b z przedziału [0,1] będzie najlepszą odpowiedzią.

By gracz 1 mógł z zyskiem blefować, jego zagranie musi powieść się w x*Pot/(x+1)*Pot = x/(x+1), tzn. gracz 2 musi przynajmniej w x/(x+1) przypadków spasować.

Oznacza to tyle, że gracz 1 ma najlepszą odpowiedź na (b,1-b) dla b>x/(x+1), gdy nigdy nie blefuje (czyli (0,1) lub a=0), dla ciągle blefującego (czyli (1,0) lub a=1) i dla b=x/(x+1) każda strategia będzie najlepszą odpowiedzią.

Otrzymujemy także kilka NEQ x/(1+2x),1-x/(1+2x),(x/(x+1)),1-x/(x+1)

Praktyczne zastosowanie równowagi Nasha

Zastanówmy się nad tą sytuacją z punktu widzenia drugiego gracza. Przyjmijmy, że x=1, czyli gracz 1 stawia zakłady w wysokości puli. Zgodnie z NEQ strategia przyjmie następującą postać (0,5,0,5). Jeśli w sposób przypadkowy w 50% wykona się sprawdzenie i w 50% spasuje, to dzięki temu przeciwnik nie będzie w stanie zyskać nad tobą przewagi. Chodzi o to, że przeciwnik nawet poprzez dobre decyzje nie będzie w stanie zwiększyć swojej wartości oczekiwanej.

Każda jego strategia jest natychmiastową dobrą odpowiedzią na naszą strategie. Strategia (0,5,0,5) nie zawsze będzie najlepszą odpowiedzą na strategię pierwszego gracza. Chcesz oczywiście zawsze reagować optymalnie na działania innego gracza. Jeśli przeciwnik będzie np. murkiem, dobór odpowiedniej strategii nie powinien sprawić większych problemów. Wtedy trzeba by sprawdzać rzadziej niż w 50% sytuacji.

Dobry przeciwnik w takiej sytuacji ciągle będzie próbował zmieniać swoją strategię, by dopasować ją do twojego stylu gry, podczas gdy ty będziesz na te próby dopasowania próbował odpowiednio zareagować, itd. Najlepiej byłoby oczywiście stale znajdować się o krok naprzód od przeciwnika, a także lepiej przewidywać sytuację. Dzięki temu w określonym momencie gry można by przewidzieć, czy przeciwnik wykona blef czy też nie.

Podczas swojej pokerowej kariery na pewno trafisz na przeciwników, którzy tę umiejętność posiedli w lepszym stopniu od ciebie. Przeciwko nim najlepszym rozwiązaniem będzie przyjęcie strategii, która nie pozwoli innemu graczowi na zyskanie przewagi. Dzięki temu lepsze ready nie zwiększyłyby jego zysku.

Dodatek

a) Jeśli chcesz przeprowadzać akcję w 50% przypadków, zależy ci na tym, by twoja decyzja została podjęta w sposób jak najbardziej losowy. System, z którego będziesz korzystał, nie może być łatwy do odgadnięcia dla przeciwnika. Najprostszym generatorem przypadku może być sekundnik zegarka lub karta na riverze. Wykonasz sprawdzenie, gdy ich wartość będzie parzysta, zaś w przeciwnym wypadku spasujesz. Taki sposób może stać się jednak możliwy do odgadnięcia, gdy jest zbyt oczywisty, zaś przeciwnik stosunkowo uważny.

b) W rozdziale 2 zostałeś poinformowany, że strategia (a,1-a) gracza 1 oznacza, że wykona blef z prawdopodobieństwem a, a nie, że z prawdopodobieństwem a zagra blef, gdy ma złe karty. Informacja ta nie ma jednak praktycznego zastosowania. Trzeba jeszcze wziąć pod uwagę to, jak często faktycznie ma dobre karty a jak często ich nie ma.

Rozpatrz pewien przykład. Stół to JT42. Gracz 1 ma oczywistego drawa (strit lub kolor), zaś gracz 2 ma gotową rękę. Jeśli na riverze pojawi się 6, a gracz 1 ma np. KQ, to musi się on zastanowić nad tym, jak często powinien blefować. W tym celu musi się zastanowić nad tym, jak często występuje kolor.

(A9-A5, A3, A2, 97, 87, 86, 76, 75, 65, 53) mogą stanowić przykładowy realny zakres, składający się w sumie z 14 rąk. Gracz 1 będzie miał nietrafionego drawa do strita z taką samą częstością. (Z zakresu wypada 7 kombinacji KQ i 98, ponieważ gracz mający OESD + FD rozegrałby swoje karty w inny sposób).

Jeśli gracz wykona blef w 1/3 przypadków, będzie potrzebował do tego 7 możliwych rąk (7/(14+7)=1/3). Z nietrafionym drawem musi blefować w połowie sytuacji: (7/14 = 1/2).

Jeśli w tej sytuacji wykluczy się również 98 (np. z powodu akcji przed flopem), wtedy gracz ten w 33% zdarzeń nie będzie miał koloru, więc powinien blefować częściej.

c) Gracz 2 spodziewa się, że przeciwnik będzie blefował z częstością odpowiadającą NEQ, więc powinien wykonać call, kiedy jego ręka "blokuje" możliwe karty przeciwnika. Chodzi mianowicie o karty, które przeciwnik próbuje reprezentować podczas próby bluffu.

Niech gracz 2 ma np AJ z przykładu b). W ten sposób wykluczy on 7 z 14 możliwych rąk do koloru, które to zawierają asa (te karty zostały zablokowane). Gdy gracz 1 wykona teraz działanie opisane w przykładzie b), zrobi to z fałszywą częstością blefów dla swojego nietrafionego drawa. Niesłusznie wydaje mu się bowiem, że mógłby mieć flusha częściej, niż jest to możliwe. W takiej sytuacji powinien blefować tylko w 33% sytuacji, zamiast w 50%.

Podobna sytuacja wystąpić może, gdy na riverze pojawi się 9 zamiast 6, zaś gracz 2 ma na ręce QQ. Przeciwnik, gdy wykonuje bet, reprezentuje KQ i również w tym przypadku połowa kombinacji jest niemożliwa.