Равновесие Нэша и последовательности блефа/колла

Введение

Теория игр - это отдельная область математики, которая занимается анализом различных конфликтных ситуаций, в том числе и игровых. Игра, в этом смысле, выступает как ситуация, где несколько участников борются за выигрыш, каждый играет по своей стратегии, на основании которой принимает соответствующие решения, и прибыль может быть посчитана.

Равновесие Нэша

Центральным понятием в теории игр является так называемое равновесие Нэша, описывающее состояние, которое называется стратегическим равновесием между двумя игроками. Каждый из них всегда выбирает лучший ответ на действие другого, и никто не может увеличить собственную прибыль, если будет изменять стратегию только со своей стороны.

Эта статья даст вам первое представление о теории игр, равновесии Нэша в качестве стратегии принятия решений и его конкретном применении на примере частоты ставок и коллов. Для понимания текста необходимо знание основ матричного исчисления.

Небольшое введение в теорию игр

Игра, в математическом смысле, складывается из следующих составляющих:

• Число игроков;
• Число (чистых) стратегий каждого игрока;
• Профиль выигрышей, который для каждого профиля стратегий (т.е. для каждой выбранной игроком стратегии) определяет набор выигрышей. Исходя из этого набора, определяется выигрыш каждого игрока. Профиль выигрышей определяет конечный результат, когда все игроки выберут определенную стратегию, и игра будет сыграна.

В дальнейшем в этой статье мы будем рассматривать игру, в которой принимают участие лишь два игрока. Игра может быть описана с помощью двух простых матриц А и B размерами m x n. Игрок 1 имеет набор из m стратегий S1,...,Sm, а Игрок 2 - набор из n стратегий S'1,...,S'n. Если Игрок 1 выбирает стратегию Si, а Игрок 2 выбирает стратегию Sj, то выигрышем первого игрока станет Aij, а второго игрока - Bij.

Результаты Игрока 1:

Если, к примеру, A=B=I2 (единичная матрица 2x2), то оба игрока получают одинаковый выигрыш: 0, если оба выбирают первую или оба выбирают вторую стратегию.

Также допустимо, что игрок применяет смешанные стратегии. Это означает, что он играет несколько чистых стратегий с определённой вероятностью, где суммарная вероятность, конечно же, равна 100%. Смешанные стратегии могут быть представлены в виде вектора p, где pi обозначает вероятность того, что будет разыграна i-ая стратегия.

Если Игрок 1 выбирает смешанную стратегию p, а Игрок 2 - смешанную стратегию q, то их выигрыши будут pAq и pBq соответственно (так же, как и для чистых стратегий, эти числа отвечают записям в соответствующих полях матриц каждого из игроков).

Назовем стратегию p наилучшим ответом Игрока 1 на стратегию q Игрока 2, если стратегия p приносит Игроку 1 максимальный выигрыш, т.е., если верно:

pAq >= p'Aq для всех стратегий p' Игрока 1.

Аналогично стратегия q Игрока 2 будет наилучшим ответом на стратегию p Игрока 1, если верно:

pBq >= pBq' для всех стратегий q' Игрока 2.

Равновесие Нэша (РН) - это комбинация (p,q), состоящая из стратегии p Игрока 1 и стратегии q Игрока 2, для которой выполняется условие, что p является лучшим ответом на q, а q является лучшим ответом на p. Мы не будем здесь доказывать, а просто отметим как факт, что равновесие Нэша существует в каждой игре (правда, это необязательно для чистых стратегий).

Равновесие Нэша не должно быть парето-оптимально. Парето-оптимальное состояние достигается тогда, когда игрок не может увеличить свой выигрыш никаким другим путем, кроме как уменьшить выигрыш другого игрока.

Аналогично парето-оптимальная комбинация из стратегий не обязательно находится в равновесии Нэша. Известным примером здесь является теорема заключенного. Однако мы не будем здесь на ней останавливаться так же, как и на других интересных примерах равновесия таких, как эволюционно-стабильная стратегия или коррелированное равновесие.

Если у обоих игроков лишь 2 чистые стратегии, то существует очень простой метод вычисления равновесия Нэша. Опишем его на основании вышеуказанного примера A=B=I2.

Стратегия p Игрока 1 обычно записывается как (a,1-a), где варианты а состоят из набора [0,1], стратегия q Игрока 2 - (b,1-b), где варианты b также состоят из набора [0,1]. Сравнивая выигрыш от стратегий (1,0) и (0,1), выбираем ту стратегию Игрока 1, которая являлась бы лучшим ответом на стратегию (b,1-b) Игрока 2 (две чистые стратегии соответствуют двум строчкам в матрице).

Если Игрок 1 выбирает первую строку, тогда его выигрыш равен b, если он выбирает вторую строку, то его выигрыш равен 1-b. При b>1-b <=> b>0,5 лучшим ответом является первая строка, т.е. а=1. При b<0,5, соответственно, вторая строка, т.е. а=0, а при b=0,5 его выигрыш каждый раз равен 1/2, и каждая стратегия является лучшим ответом.

Точно так же действует и Игрок 2. Так как пример симметричен, то b=1 при a>0,5, b=0 при a<0,5 и любое b из набора [0,1] при a=0,5.

Равновесие Нэша так определяет пару стратегий, что обе стратегии являются лучшим ответом друг другу. Если представить все графически, то ответом будет пересечение двух множеств.

Итак, равновесие Нэша в данной игре - это ((1,0),(1,0)), ((0,1),(0,1)) и ((0.5,0.5),(0.5,0.5)).

Соотношение ставок и коллов

Рассмотрим следующую ситуацию: Игрок 1 (вне позиции) и Игрок 2 (в позиции) оказываются один на один на ривере, и сила руки Игрока 2 определена достаточно точно. Игрок 1 знает, впереди он или позади, а Игрок 2 знает, что Игрок 1 это знает.

Если Игрок 1 бьёт руку Игрока 2, то, разумеется, он будет делать ставку для вэлью. (Игрок 2 всегда играл бы ответный чек, так как Игрок 1 знает, где он находится). Вопрос же состоит в том, как часто Игрок 1 будет блефовать. Ответ зависит, разумеется, от типа оппонента. Например, против «автоответчика» он не должен блефовать, так же, как и против слабых игроков. Игрок 2, в свою очередь, должен принять решение, в зависимости от типа Игрока 1 коллировать его ставку или сбросить карты.

Эту ситуацию можно представить в виде игры:

• У Игрока 1 есть две чистые стратегии: Блефовать и Не блефовать. Его смешанная стратегия (a,1-a) подразумевает, что Игрок 1 блефует с вероятностью a, когда он делает ставку (а не то, что он блефует с вероятностью а, потому что у него худшая рука...подробнее об этом в последней главе).

• У Игрока 2 также две чистые стратегии: Колл и Фолд. Его смешанная стратегия (b,1-b) подразумевает, что с вероятностью b он будет играть колл, если Игрок 1 сделает ставку.

Сравнительно просто определить лучшие ответы на стратегии оппонентов (ставку Игрока 1 будем обозначать через x, в частях от пота):

Чтобы сделать прибыльный колл, Игрок 2 должен в x*Pot/((1+2x)*Pot) = x/(1+2x) случаях быть впереди. Это означает, что если a < x/(1+2x), то лучшим ответом на стратегию (a,1-a) будет Фолд (т.е. (0,1) или, соответственно, b=0).

Если a>x/(1+2x), то лучшим ответом будет Колл (т.е. (1,0) или, соответственно, b=1). Для a=x/(1+2x) каждая стратегия (b,1-b), при любом b из набора [0,1] является лучшим ответом.

В то же время, для того чтобы блеф был прибылен для Игрока 1, его блеф должен проходить в x*Pot/((x+1)*Pot) = x/(x+1) случаев, т.е. Игрок 2 должен сбрасывать карты, по меньшей мере, x/(x+1) случаях.

Это значит, что для Игрока 1 лучшим ответом на стратегию (b,1-b) для b>x/(x+1) будет: Не блефовать (т.е. (0,1) или a=0) при b>x/x+1, Блефовать (т.е. (1,0) или a=1) при b. При b=x/(x+1) любая из двух стратегий является лучшим ответом.

Таким образом, мы получаем единственный вариант равновесия Нэша x/(1+2x),1-x/(1+2x),(x/(x+1)),1-x/(x+1)

Практическое применение равновесия Нэша

Рассмотрим ситуацию, к примеру, с позиции Игрока 2. Примем x=1, т.е. Игрок 1 делает ставку размером в банк. Согласно равновесию Нэша, лучшей для Игрока 2 будет стратегия (0.5,0.5). Таким образом, если Игрок 2 в 50% случаев будет коллировать и в 50% случаев сбрасывать карты, то Игрок 1 никогда не сможет нас переиграть, в том смысле, что для него не существует решения, при котором он увеличивает ожидаемую ценность своей руки.

Каждая из стратегий Игрока 1 является, в таком случае, лучшим ответом для Игрока 2. Стратегия (0.5,0.5), разумеется, не всегда является лучшим ответом на стратегию Игрока 1. В идеале мы, конечно же, хотим всегда выбирать лучший возможный ответ. Если оппонент, скажем, является «скалой», то его стратегию относительно просто предсказать и выбрать лучший ответ. Нам бы никогда не пришло в голову тогда коллировать в целых 50% случаев.

Хороший оппонент в таких ситуациях всегда будет изменять свою стратегию и пытаться приспособиться к нашей, в то время как мы также будем приспосабливаться к изменениям его стратегии, и т.д. В идеале мы всегда должны быть на шаг впереди оппонента, должны думать на более высоком уровне, чем он. Тогда мы всегда сможем достаточно точно предугадывать его стратегию, сможем оценить вероятность того, блефует он в данный игровой момент или нет.

Однако мы будем встречать оппонентов, которые будут это делать лучше нас. Против них лучше всего выбирать стратегию, при которой они не смогут нас переиграть. В таком случае они не получат выигрыша от того, что лучше читают нас, чем мы их. Так, если бы карты раздавались наоборот, мы бы с ними выигрывали ровно столько же, сколько бы наш оппонент выиграл с ними против нас, при условии, что мы также играли бы по стратегии, соответствующей равновесию Нэша.

Примечания

а) Когда мы хотим совершать какое-то действие, в 50% случаев наш выбор должен выглядеть как случайность и не определяться по легкоузнаваемой системе. В качестве простейшего генератора случайных чисел может служить секундная стрелка наручных часов или карта ривера. Если карта четная, то мы коллируем, если нечетная, то сбрасываем карты. Однако если система слишком очевидна, а оппонент очень внимателен, наш выбор может стать для него предсказуемым.

b) Как мы уже отмечали, когда рассматривали стратегию (a,1-a) Игрока 1, Игрок 1 с вероятностью а просто блефует, а не блефует с вероятностью а, когда у него худшая рука. В настоящий момент эта дополнительная информация нам бесполезна. Нужно еще посчитать, как часто у него будет оказываться рука, которую он хочет представить.

Например, рассмотрим ситуацию, когда на столе JT42. У Игрока 1 явное дро (на стрейт или на флеш), а у Игрока 2 готовая рука. Если на ривере приходит 6, у нас на руках KQ, и мы хотим определить, как часто мы должны блефовать, то мы должны сначала вычислить, как часто у нас может быть флеш.

(A9-A5, A3, A2, 97, 87, 86, 76, 75, 65, 53) в данной ситуации может быть вероятным спектром рук, в совокупности 14 рук. Ровно столько же раз у нас будет несобравшееся стрейт-дро (по 7 комбинаций из KQ и 98, если мы исходим из того, что комбо-дро из двустороннего стрейт-дро и флеш-дро мы бы разыгрывали по-другому).

Если мы хотим блефовать с вероятностью 1/3, то нам нужно 7 рук, с которыми мы блефуем (7/(14+7)=1/3). Таким образом, если бы у нас было несобравшееся дро, то мы должны были блефовать в 50% случаев: (7/14 = 1/2).

Если в этой ситуации исключить 98 (возможно, на основе развития событий на префлопе), то в таком случае у нас не было бы флеша лишь в 33% случаев, поэтому мы должны блефовать всегда.

с) Если бы мы были на месте Игрока 2 и предполагали, что оппонент блефует, примерно, с вероятностью, которая соответствует равновесию Нэша, то мы должны были бы коллировать, если у нас на руках блок-карта. Это та карта, наличие которой в своей руке пытается изобразить оппонент.

Например, если бы в примере b) у нас на руках было AJ, то 7 из его 14 возможных флеш-рук «блокируются», так как мы знаем, что у него нет туза нужной масти. Если бы оппонент действовал так, как в примере b), то он высчитал бы для себя неправильную частоту блефа, так как думал бы, что его флеш возможен чаще, чем на самом деле. Поэтому он будет блефовать в 50% случаев, а не в 33%.

Та же самая ситуация складывается, если на ривере приходит 9, а не 6, и у нас на руках QQ. Делая ставку, оппонент пытается изобразить KQ, и опять же в этом случае половина его возможных комбинаций KQ «заблокирована».

Ссылки
Близкие по теме статьи: Статистические показатели и их применение Блок-ставки Форум: Обсудите эту статью с другими игроками в форуме