Nash-Gleichgewichte und Bluffing/Calling Frequencies

Einleitung

Die Spieltheorie ist ein Teilgebiet der Mathematik, das sich mit der Analyse bestimmter Konfliktsituationen bzw. von Spielen beschäftigt. Als Spiel wird in diesem Sinne eine Situation verstanden, in der mehrere Teilnehmer miteinander um eine Ressource konkurrieren, jeder für sich eine Strategie verfolgt, die durchaus auch kooperative Züge tragen kann, und es einen feststellbaren Profit geben kann.

Das Nash-Gleichgewicht

Ein zentraler Begriff der Spieltheorie ist das so genannte Nash-Gleichgewicht, das einen Zustand beschreibt, in dem ein strategisches Gleichgewicht zwischen den Spielern herrscht, sie wechselseitig immer die beste Antwort auf eine Aktion des Gegners parat haben und niemand seinen Profit vergrößern kann, wenn er nur einseitig von seiner Strategie abweicht.

Dieser Artikel gibt euch einen Einblick in die Spieltheorie, Nash-Gleichgewichte als Lösungsstrategien und deren konkrete Anwendung am Beispiel Betting und Calling Frequencies. Für das Verständnis des Textes sind einige grundlegende Kenntnisse im Bereich Matrizenrechnung Voraussetzung.

Kurze Einführung in die Spieltheorie

Ein Spiel im mathematischen Sinne ist gegeben durch:

• die Menge der Spieler
• die Mengen der (puren) Strategien für jeden Spieler
• eine Abbildung, die jedem Strategieprofil (d.h. jeder Spieler wählt eine Strategie) ein Auszahlungstupel zuordnet, durch das für jeden Spieler eine Auszahlung festgelegt ist. Durch diese Abbildung wird also ein Ergebnis festgelegt, das eintritt, wenn sich die Spieler für eine bestimmte Strategie entscheiden und das Spiel dann gespielt wird.

Im weiteren Verlauf dieses Artikels werden nur Spiele mit zwei Teilnehmern betrachtet. Das Spiel kann dann sehr einfach durch zwei m x n Matrizen A und B dargestellt werden. Spieler 1 besitzt dann m Strategien S1,...,Sm und Spieler 2 besitzt n Strategien S'1,...,S'n. Wählt Spieler 1 die Strategie Si und Spieler 2 die Strategie Sj, so ist die Auszahlung für Spieler 1 Aij und für Spieler 2 Bij.

Auszahlungen Spieler 1:

Gilt z.B. A=B=I2 (2x2 Einheitsmatrix), so erhalten beide Spieler die Auszahlung 1, wenn sie beide die erste oder beide die zweite Strategie wählen, ansonsten erhalten beide die Auszahlung 0.

Es ist auch zugelassen, dass die Spieler gemischte Strategien spielen. Dies bedeutet, dass mehrere pure Strategien mit einer bestimmten Wahrscheinlichkeit gespielt werden, wobei man insgesamt natürlich auf 100% kommt. Eine gemischte Strategie kann man durch einen Vektor p darstellen, wobei pi für die Wahrscheinlichkeit steht, dass die i-te Strategie gespielt wird.

Spielt Spieler 1 die gemischte Strategie p und Spieler 2 die gemischte Strategie q, so erhält man die Auszahlungen als pAq bzw. pBq. (Dies führt für pure Strategien insbesondere wieder auf den entsprechenden Eintrag der jeweiligen Matrizen.)

Eine Strategie p von Spieler 1 bezeichnet man als beste Antwort auf eine Strategie q von Spieler 2, wenn p die maximale Auszahlung für Spieler 1 bringt, d.h. wenn gilt:

pAq >= p'Aq für alle Strategien p' von Spieler 1.

Analog heißt eine Strategie q von Spieler 2 beste Antwort auf Strategie p von Spieler 1, wenn gilt:

pBq >= pBq' für alle Strategien q' von Spieler 2.

Ein Paar (p,q) mit Strategie p von Spieler 1 und Strategie q von Spieler 2, heißt Nash-Gleichgewicht (NGG), wenn p beste Antwort auf q und q beste Antwort auf p ist. Ohne Beweis sei hier bemerkt, dass in jedem Spiel mindestens ein NGG existiert (allerdings nicht notwendig in puren Strategien).

Ein NGG muss nicht pareto-optimal sein. Ein pareto-optimaler Zustand ist dann erreicht, wenn der Zustand nicht mehr geändert werden kann, so dass ein Spieler eine höhere Auszahlung erhält, ohne dass ein anderer Spieler schlechter gestellt wird.

Ebenso muss ein pareto-optimales Paar von Strategien kein NGG sein. Bekanntes Beispiel hierfür ist das Gefangenendilemma. Darauf werden wir allerdings nicht näher eingehen, ebenso wenig auf weitere interessante Gleichgewichtsbegriffe wie evolutionär stabile Strategien und korrelierte Gleichgewichte.

Haben beide Spieler nur zwei pure Strategien, gibt es eine sehr einfache Methode zur Berechnung des NGG. Diese soll anhand des obigen Beispiels A=B=I2 erläutert werden.

Eine Strategie p von Spieler 1 hat natürlich die Form (a,1-a) mit a aus [0,1], eine Strategie von Spieler 2 hat die Form (b,1-b) für b aus [0,1]. Man sucht nun für eine Strategie (b,1-b) von Spieler 2 die beste Antwort von Spieler 1, indem man die Auszahlung der Strategien (1,0) und (0,1) vergleicht (also der puren Strategien bzw. der beiden Zeilen in der Matrix).

Wählt Spieler 1 die erste Zeile, so ist die Auszahlung für ihn b, wählt er die zweite Zeile, so ist die Auszahlung für ihn 1-b. Für b>1-b <=> b>0,5 ist die beste Antwort also die erste Zeile, d.h. a=1. Für b<0,5 entsprechend die zweite Zeile, d.h. a=0, und für b=0,5 erhält er auf jeden Fall die Auszahlung 1/2, jede Strategie ist also beste Antwort.

Dasselbe führt man für Spieler 2 durch. Aufgrund der Symmetrie im Beispiel erhält man natürlich b=1 für a>0,5, b=0 für a<0,5 und b beliebig aus [0,1] für a=0,5.

NGG sind nun nach Definition Strategienpaare, so dass beide Strategien jeweils beste Antworten auf die jeweilig andere Strategie sind. Diese findet man in der Zeichnung offensichtlich durch die Schnittpunkte der beiden Mengen.

Die NGG dieses Spiels sind also ((1,0),(1,0)), ((0,1),(0,1)) und ((0.5,0.5),(0.5,0.5)).

Betting/Calling Frequencies

Man betrachte folgende Situation: Spieler 1 (out of position) und Spieler 2 (in position) sind am River und die Handstärke von Spieler 2 ist recht genau definiert. Spieler 1 weiß, ob er vorne liegt oder nicht, und Spieler 2 weiß auch, dass Spieler 1 das weiß.

Kann Spieler 1 die Hand von Spieler 2 schlagen, wird er natürlich valuebetten (Spieler 2 würde immer check behind spielen, da Spieler 1 ja weiß, ob er vorne liegt oder nicht). Die Frage, ob bzw. wie oft er bluffen soll, hängt dann natürlich vom Gegner ab. Gegen eine Calling Station z.B. sollte er natürlich nicht bluffen, gegen einen weaken Gegner schon. Auch für Spieler 2 hängt die Entscheidung, ob er nach einer Bet callen oder folden sollte, von Spieler 1 ab.

Diese Situation kann man folgendermaßen als Spiel modellieren:

• Spieler 1 hat die (puren) Strategien Bluffen und Nicht Bluffen. Eine gemischte Strategie (a,1-a) bedeutet dann, dass Spieler 1 mit der Wahrscheinlichkeit a blufft, wenn er bettet (und nicht, dass er mit der Wahrscheinlichkeit a blufft, wenn er eine schlechte Hand hat .. mehr dazu im dritten Abschnitt).

• Spieler 2 hat die (puren) Strategien Call und Fold. Eine gemischte Strategie (b,1-b) heißt dann, dass er mit der Wahrscheinlichkeit b callt, wenn Spieler 1 bettet.

Die besten Antworten auf eine Strategie des Gegners sind relativ einfach zu bestimmen (die Bet von Spieler 1 betrage x-fache Potsize):

Um einen profitablen Call zu machen, muss Spieler 2 in x*Pot/((1+2x)*Pot) = x/(1+2x) der Fälle vorne liegen. Das heißt auf die Strategie (a,1-a) hat er als beste Antwort Fold (also (0,1) bzw. b=0), wenn a < x/(1+2x).

Er hat als beste Antwort Call (also (1,0) bzw. b=1), wenn a>x/(1+2x). Für a=x/(1+2x) ist jede Strategie (b,1-b) mit b aus [0,1] eine beste Antwort.

Damit Spieler 1 profitabel bluffen kann, muss der Bluff in x*Pot/((x+1)*Pot) = x/(x+1) der Fälle erfolgreich sein, d.h. Spieler 2 muss in mindestens x/(x+1) der Fälle folden.

Das bedeutet, dass Spieler 1 als beste Antwort auf (b,1-b) für b>x/(x+1) nie blufft (also (0,1) oder a=0), für b immer blufft (also (1,0) oder a=1) und für b=x/(x+1) ist jede Strategie beste Antwort.

Wir erhalten also als einziges NGG x/(1+2x),1-x/(1+2x),(x/(x+1)),1-x/(x+1)

Praktische Bedeutung des Nash-Gleichgewichts

Betrachten wir die Situation z.B. aus Sicht von Spieler 2. Nehmen wir an x=1, also Spieler 1 macht eine Potsize-Bet. Im NGG hat man nun die Strategie (0.5,0.5). Wenn man zufällig zu 50% callt und zu 50% foldet, ist man in dieser Situation nicht exploitable, in dem Sinne, dass der Gegner seinen Erwartungswert nicht mit einer guten Entscheidung verbessern kann.

Jede seiner Strategien ist eine gleich gute Antwort auf unsere Strategie. Die Strategie (0.5,0.5) ist aber natürlich nicht immer die beste Antwort auf die Strategie von Spieler 1. Optimalerweise wollen wir natürlich immer mit der besten Antwort reagieren. Ist der Gegner z.B. ein Rock, ist es relativ einfach seine Strategie vorherzusagen und die beste Antwort zu wählen. Man würde hier nicht auf die Idee kommen in 50% der Fälle zu callen.

Ein guter Gegner wird seine Strategie in einer solchen Situation allerdings immer wieder ändern und versuchen, sich an unseren Spielstil anzupassen, während wir versuchen werden, uns an diese Anpassungen anzupassen, usw. Optimal ist es natürlich, dem Gegner immer einen Schritt voraus zu sein, also ein Level höher zu denken als er. Dann wird man seine Strategie relativ gut vorhersagen können, also abschätzen können, ob er in diesem Moment des Spiels gegen uns einen Bluff versuchen würde oder nicht.

Man wird aber auch Gegner treffen, die dies besser beherrschen als man selbst. Gegen diese ist es dann am besten eine Strategie zu spielen, die nicht exploitable ist. Dadurch kann er in dieser Situation keinen Gewinn daraus ziehen, dass er uns besser readen kann als wir ihn. (Wenn die Karten umgekehrt wären, würde man genauso viel gewinnen wie er gegen uns, weil man auch dann die Strategie aus dem NGG spielen kann)

Anmerkungen

a) Wenn man z.B. in 50% der Fälle eine Aktion durchführen will, so sollte das natürlich möglichst per Zufall und nicht durch ein evtl. leicht erkennbares System bestimmt werden. Als einfache Zufallsgeneratoren können hier z.B. Sekundenzeiger einer Armbanduhr benutzt werden oder die Riverkarte, indem man callt, wenn sie einen geraden Wert aufweist oder foldet, wenn ihre Wert ungerade ist. So etwas kann aber evtl. auch vorhersagbar werden, wenn das System zu offensichtlich ist und der Gegner sehr aufmerksam ist.

b) Wie in Abschnitt 2 schon bemerkt bedeutete die Strategie (a,1-a) von Spieler 1 dort, dass Spieler 1 insgesamt mit einer Wahrscheinlichkeit von a blufft und nicht, dass er mit einer Wahrscheinlichkeit von a blufft, wenn er eine schlechte Hand hält. Diese Information nutzt einem zunächst nichts. Man muss noch zählen, wie oft man die Hand hat, die man repräsentiert und wie oft nicht.

Man betrachte z.B. das Board JT42. Spieler 1 ist offensichtlich auf einem Draw (Straight oder Flush) und Spieler 2 hat eine Made Hand. Ist der River 6 und man hält KQ und will bestimmen, wie oft man bluffen sollte, so muss man sich zunächst überlegen, wie oft man den Flush hält.

(A9-A5, A3, A2, 97, 87, 86, 76, 75, 65, 53) könnte beispielsweise eine realistische Range sein, insgesamt 14 Hände. Einen busted Straight Draw wird man genauso oft halten. (Je 7 Kombinationen von KQ und 98, wenn man davon ausgeht, dass man OESD+FD vorher anders gespielt hätte).

Will man jetzt insgesamt mit einer Wahrscheinlichkeit von 1/3 bluffen, so braucht man 7 Hände, mit denen man blufft (7/(14+7)=1/3). Hält man also einen busted Draw, muss man in 50% der Fälle bluffen: (7/14 = 1/2).

Schließt man in dieser Situation 98 aus (evtl. wegen der Preflop-Action), so hat man nur in 33% der Fälle keinen Flush, dann sollte man also immer bluffen.

c) Erwartet man als Spieler 2, dass der Gegner ungefähr mit einer Frequenz blufft, die dem NGG entspricht, so sollte man callen, wenn man "Blocker" in seiner Hand hat. Dies sind Karten, die in den Händen vorkommen, die der Gegner repräsentiert.

Hat man z.B. beim Beispiel aus b) AJ auf der Hand, so sind 7 von 14 seiner Flush Hände nicht möglich, weil sie das As enthalten (die Hände sind "blockiert"). Wenn der Gegner das Verfahren aus Teil b) durchführt, wird er eine falsche Blufffrequenz für seine busted Draws ausrechnen, da er denkt, dass er öfter einen Flush halten wird. In diesem Fall wird er dann in 50% statt in 33% der Fälle bluffen.

Die gleiche Situation liegt vor, wenn der River 9 statt 6 ist und man QQ hält. Der Gegner repräsentiert KQ, wenn er bettet und auch hier sind die Hälfte der KQ Kombinationen nicht möglich.