[Geschlossen] Diskussionsthread zu Unterschieden in stat. Werten zwischen Elephant, HEM und PT3

Unterschiede bis zu 81% find ich nicht klein.

Ok es sind Werte, die für Anfänger nicht so relevant sind.
Aber wenigstens VPIP und PFR müssen stimmen.

Ich habe die Version 0.68 vor ein paar Tagen mal angetestet.
PFR ist immer noch verbugt.
Villain hatte auf 500 Hände VPIP 12 und PFR von 13.
( aggro Shorty mit einem 4-Bet Wert von 25)
4-Bets scheint der Ele wohl doppelt zum PFR zu zählen.

Das Laden des Programms dauert immer noch solange, dass man in Ruhe eine rauchen gehen kann.
Menüs und Popup-Fenster sind von der Performance stark verbessert.

Zur fehlenden SNG Unterstützung sag ich mal nix.

Vielleicht solltet ihr eine Umfrage machen, wieviele Leute den Ele überhaupt noch verwenden.

Wenn ich ins Elephant-Forum schaue, habe ich das Gefühl er wird nur noch von ein paar Anfängern genutzt.

Die Zahl der Antworten in diesem Thread sollte schon ein kleiner Anhaltspunkt für euch sein.

Original von Stoner
Unterschiede bis zu 81% find ich nicht klein.

Ok es sind Werte, die für Anfänger nicht so relevant sind.
Aber wenigstens VPIP und PFR müssen stimmen.

Würde ich genauso sehen - aber wie du oben siehst, unterscheiden sich dei VPIP-Werte von HEM und PT3 noch stärker (bei diesem Beispielsample von 350.000 Händen) als sich der Elephant von diesen unterscheidet.

Hier in diesem Thread geht es ja gerade nicht nur um die bereits bekannten Schwächen des Elephant sondern um das generelle Problem bei Statistiken: Messfehler, Definitionsunterschiede etc.

Wie finden wir jetzt z.B. heraus, ob der VPIP-Wert von HEM oder von PT3 richtig ist? Oder ist das bei 4% Abweichung (relative 4%, d.h. z.B. 25% zu 26%) nicht so wichtig?

Ich habe die Version 0.68 vor ein paar Tagen mal angetestet.
PFR ist immer noch verbugt.
Villain hatte auf 500 Hände VPIP 12 und PFR von 13.
( aggro Shorty mit einem 4-Bet Wert von 25)
4-Bets scheint der Ele wohl doppelt zum PFR zu zählen.

Leite ich weiter - solltest hier im Thread Feedback dazu bekommen.

Das Laden des Programms dauert immer noch solange, dass man in Ruhe eine rauchen gehen kann.
Menüs und Popup-Fenster sind von der Performance stark verbessert.

Zur fehlenden SNG Unterstützung sag ich mal nix.

Vielleicht solltet ihr eine Umfrage machen, wieviele Leute den Ele überhaupt noch verwenden.

Wenn ich ins Elephant-Forum schaue, habe ich das Gefühl er wird nur noch von ein paar Anfängern genutzt.

Die Zahl der Antworten in diesem Thread sollte schon ein kleiner Anhaltspunkt für euch sein.

Das sind wiederum völlig andere Fragen, die sich ganz allgemein auf den Elephant beziehen.

Ich würde bitten, dass wir uns hier auf die Probleme mit der Genauigkeit/Abweichungen von statistischen Werten beschränken.

Für die generellen Themen kann es ja jederzeit einen eigenen Thread geben.

Original von Xantos

Wie finden wir jetzt z.B. heraus, ob der VPIP-Wert von HEM oder von PT3 richtig ist? Oder ist das bei 4% Abweichung (relative 4%, d.h. z.B. 25% zu 26%) nicht so wichtig?

Dazu müsste man die genauen Definitionen von HM und PT vergleichen, schauen was PT mehr als VPIP nimmt und dann darüber diskutieren.

Einen Punkt habt ihr ja schon in der News erwähnt:

Der VPIP Wert unterscheidet sich zwischen PokerStrategy.com Elephant und Holdem Manager um 0.73 Prozentpunkte, obwohl bei gleicher Handhistory ein identischer Wert zu erwarten ist. Die Ursache dafür liegt in einer Fehlinterpretation des Elephants, der, falls alle Mitspieler zum Big-Blind folden, dies als VPIP-Möglichkeit für den Big-Blind wertet.

Diese Fehlinterpretation ändern und gut ist. Wobei in deinem Bildauszug VPIP Ele vs HM -2,70 % steht. Ist der VPIP des Ele gegenüber HM nun höher oder niedriger?

Die 4-Bet Problematik ist den Entwicklern schon seit Dezember 08 bekannt.
Ich hatte damals schon einen Thread eröffnet und entsprechende Handhistorys verschickt. Diese sind auch angekommen...

In der verlinkten XLS kannst du die konkreten Werte ansehen:

VPIP auf gleicher Datenbasis:
Elephant - 25,2
Holdem Manager - 25,9
Pokertracker 3 - 24,8

Wodurch z.B. der Unterschied zwischen HEM und PT3 zustande kommt (den es ja bei vielen Werten gibt), wissen wir (noch) gar nicht.

@alte Entwickler: Die sind ja u.a. deswegen nicht mehr an Bord.

Hi,

Original von Stoner

Dazu müsste man die genauen Definitionen von HM und PT vergleichen, schauen was PT mehr als VPIP nimmt und dann darüber diskutieren.

Das ist prinzipiell richtig, nur leider nicht so einfach, da die genauen Definitionen nicht oeffentlich sind und es selbst dann, auch in den anderen Produkten Fehlberechnungen geben kann. Das Ganze ist ein riesiger Black-Box Test.

Man muss die kompletten Haende jeweils in den Produkten importieren und dann jede Hand einzeln vergleichen. Die unterschiedlichen interpretierten Haende sieht man sich nochmals genau an und kann daraus Definitionsunterschiede oder Fehler herleiten.

Einen Punkt habt ihr ja schon in der News erwähnt:

Der VPIP Wert unterscheidet sich zwischen PokerStrategy.com Elephant und Holdem Manager um 0.73 Prozentpunkte, obwohl bei gleicher Handhistory ein identischer Wert zu erwarten ist. Die Ursache dafür liegt in einer Fehlinterpretation des Elephants, der, falls alle Mitspieler zum Big-Blind folden, dies als VPIP-Möglichkeit für den Big-Blind wertet.

Diese Fehlinterpretation ändern und gut ist. Wobei in deinem Bildauszug VPIP Ele vs HM -2,70 % steht. Ist der VPIP des Ele gegenüber HM nun höher oder niedriger?

VPIP Elephant 25.17 (nicht gerundet) vs. HM 25.90.
Das sind 0.73 Prozentpunkte, oder -2.7% vom gerundeten Wert, d.h. der Elephant Wert ist kleiner.

ad PT3: Hier faellt vor allem auf, dass PT3 51 Haende weniger importiert hat als Elephant und HM, aber eine genaue Analyse steht wie gesagt noch aus.

Cheers,
M.

Hätte nicht gedacht, dass sich der HM und PT so stark unterscheiden voneinander.

Sehr interessant.

Genau so etwas suche ich schon lange.
Ich weiß zB von PT3, dass man dort erst explizit nachfragen muss um die genauen Definitionen zu erfahren. Ging mir damals zumindest so als ich wissen wollte wie genau der Folded BB To Steal und Won @ SD definiert ist. (Ist es ein Steal wenn zw. dem Stealer und Hero noch ein Spieler coldcallt? Zählt ein Splitpot als WSD?)

Finde es sehr gut, dass ihr die Werte mal unter die Lupe nehmt!
Das ist schon sehr wichtig. Bei VPIP sind mir ein paar Prozente egal, aber bei 4bet ist es schon extrem wichtig, ob die Situationen mitzählen in denen Hero nicht der initial raiser war. Ich fände es gut, wenn auch die Unterschiede zwischen HM und PT3 aufgeklärt werden, da viele User eines der beiden Programme verwenden und im Forum dann oft über Werte diskutiert wird bei denen fälschlicherweise angenommen wird, dass beide Programme auf die selbe Weise rechnen.

Sorry, aber ich vertraue nicht auf die Vergleichswerte von 2 Softwareprodukten (HM und PT3) die von einem Unternehmen dargestellt werden, welches krampfhaft versucht eine Software im selben Segment auf den Markt zu bringen. Egal ob es "nur" Ungenauigkeiten sind oder bewusste Fehlinformation um sein eigenes Produkt und sein Versagen dieses zu entwicklen überspielen zu wollen.
Denn ich konnte bei einer Analyse von 50k hands, zu der Zeit als ich den Elephant nutze und dann der Thread kam, dass der ele Werte falsch anzeigt, keine nennenswerten Unterschiede zwischen PT2 (der vorgängerversion von pt3) und HM ausmachen, aber beide unterschieden sich vom elephant. Und ich glaube nicht dass PT3 so anders rechnen wird als PT2.

@Nani: Du musst uns ja nicht vertrauen und kannst mit deinen eigenen Daten ja deine eigenen Vergleiche zwischen HEM und PT3 ziehen.

Uns geht es hier vor allem darum, herauszufinden, woran die Unterschiede liegen & welche Unterschiede von euch kritisch gesehen werden und welche nicht. Denn genau solche Infos sind nicht nur - wie kombi sagt - für die Nutzer der Tools interessant, sondern auch für die Entwicklung des Elephant.

Also die meisten Formeln für den HM findet ihr hier, das ist kein Geheimnis: http://208.109.95.123/forum/showthread.php?t=3595

Moin,

Original von netsrak
Also die meisten Formeln für den HM findet ihr hier, das ist kein Geheimnis: http://208.109.95.123/forum/showthread.php?t=3595

Danke fuer den Link, war uns auch schon bekannt.
Leider hilft das nur bedingt.

Denn dass sich z.B. der VPIP aus

Summe(VPIPHands)*100/TotalHands,

wobei

VPIPHands = 1, wenn VPIP und 0 wenn nicht, pro Hand,

zusammensetzt, ist eigentlich klar.

Interessant waere, wann denn nun genau ein VPIP=1 oder ein VPIP=0 erkannt wird. Das geht aus dem Eintrag leider nicht hervor.

Dennoch interessant zu sehen, wie sich die komplexeren Statistiken zusammensetzen.

Cheers,
M.

Wenn ihr im Forum beim Holdemmanager ein bisschen sucht findet ihr bestimmt noch mehr Infos zu den einzelnen Sachen.

Wie sich z.B der VPIP genau errechnet habe ich in den letzten 4 Wochen in irgendeinem Thread gelesen. Die Posts von Roy (RVG72) sind immer die wichtigen. ♦

Hallo,

wenn ich das richtig sehe, habt ihr bei den Tests eine Handhistory, die ihr in eine frische DB für Elephant, PT3 und HM einlest und dann die Stats für eine einzelne Spieler in den einzelnen Programmen gegenüberstellt. Das Ergebnis dabei ist dann, inwieweit die einzelnen Werte voneinander abweichen, und noch nicht welches Programm den richtigen Wert anzeigt. Wenn dann HM und PT3 nahae beieinander liegen und der Elephant deutlich abweicht, muß man sich die Berechnung für diesen Wert genauer anschauen.

Alternativ/Ergänzend könnte man auch folgenden Test machen:
- Programmatisch eine Handhistory von 10/100/1000/... Händen erstellen, bei denen man weiß, welche Werte rauskommen müßten.
- In frische DBs einlesen und dann sieht man ja wo es grobe Berechnungsfehler/Rundungsfehler oder unterschiedliche Definitionen gibt.

PS: Wenn die benutzten Handhistories schon solche waren, bei denen man weiß, welche Werte rauskommen müssen, dann kann man das hier ignorieren

PPS: So eine Standardtesthandhistory, hätte dann auch den Vorteil, daß man vor jeder neuen Version nochmal kurz testen kann, ob auch wirklich die erwarteten Werte berechnet wurden.

Original von snovember
Hallo,

wenn ich das richtig sehe, habt ihr bei den Tests eine Handhistory, die ihr in eine frische DB für Elephant, PT3 und HM einlest und dann die Stats für eine einzelne Spieler in den einzelnen Programmen gegenüberstellt. Das Ergebnis dabei ist dann, inwieweit die einzelnen Werte voneinander abweichen, und noch nicht welches Programm den richtigen Wert anzeigt. Wenn dann HM und PT3 nahae beieinander liegen und der Elephant deutlich abweicht, muß man sich die Berechnung für diesen Wert genauer anschauen.

Exakt. Wir sehen uns jeden Wert an, der abweicht. Dazu vergleichen wir die Ergebnisse jeder einzelnen Hand.

Alternativ/Ergänzend könnte man auch folgenden Test machen:
- Programmatisch eine Handhistory von 10/100/1000/... Händen erstellen, bei denen man weiß, welche Werte rauskommen müßten.
- In frische DBs einlesen und dann sieht man ja wo es grobe Berechnungsfehler/Rundungsfehler oder unterschiedliche Definitionen gibt.

PS: Wenn die benutzten Handhistories schon solche waren, bei denen man weiß, welche Werte rauskommen müssen, dann kann man das hier ignorieren

Das stell ich mir wiederum relativ schwierig vor. Es reicht ja pro Spielsituation genau ein Beispiel zu finden. Die programmatisch erstellten Haende muessten ja alle unterschiedlich sein und z.B. an einem 10er Tisch gibt's Pre-Flop ca 59000 verschiedene Szenarien nur fuer die erste Runde. Die Kombinatorik ist da nicht so das Problem, eher die Logik, die festlegt, ob das jetzt z.B. VPIP ja/nein ist. Im Endeffekt testest Du damit zwei Parser-Implementierungen gegeneinander.

Original von Xantos

Original von Stoner

Ich habe die Version 0.68 vor ein paar Tagen mal angetestet.
PFR ist immer noch verbugt.
Villain hatte auf 500 Hände VPIP 12 und PFR von 13.
( aggro Shorty mit einem 4-Bet Wert von 25)
4-Bets scheint der Ele wohl doppelt zum PFR zu zählen.

Leite ich weiter - solltest hier im Thread Feedback dazu bekommen.

bitte beachten, dass es mehrere PFR-werte gibt
einer davon ist openraise preflop - und der kann durchaus ganz korrekt >vpip sein, weil er die openraises nicht zu den gesamthänden in ein verhältnis setzt, sondern zu den situationen, in denen villain openraisen konnte
- so jedenfalls meine interpretation

der eigentliche PFR heisst "raise average" und ist in der preflopliste zu finden
und der ist bei mir nie > VPIP

- auch wieder meine privatinterpretation
wenn falsch, bitte sagen

Hallo,

Original von smokinnurse

bitte beachten, dass es mehrere PFR-werte gibt
einer davon ist openraise preflop - und der kann durchaus ganz korrekt >vpip sein, weil er die openraises nicht zu den gesamthänden in ein verhältnis setzt, sondern zu den situationen, in denen villain openraisen konnte
- so jedenfalls meine interpretation

der eigentliche PFR heisst "raise average" und ist in der preflopliste zu finden
und der ist bei mir nie > VPIP

- auch wieder meine privatinterpretation
wenn falsch, bitte sagen

Deine Interpretation ist vollkommen richtig.

Raise Average: Verhaeltnis first action raise zu played hands
Open Raise: Verhaeltnis open raise zu Moeglichkeit fuer open raise.

Cheers,
M.

Original von PS.Markus
Das stell ich mir wiederum relativ schwierig vor. Es reicht ja pro Spielsituation genau ein Beispiel zu finden. Die programmatisch erstellten Haende muessten ja alle unterschiedlich sein und z.B. an einem 10er Tisch gibt's Pre-Flop ca 59000 verschiedene Szenarien nur fuer die erste Runde. Die Kombinatorik ist da nicht so das Problem, eher die Logik, die festlegt, ob das jetzt z.B. VPIP ja/nein ist. Im Endeffekt testest Du damit zwei Parser-Implementierungen gegeneinander.

Man kann ja mal in einem ersten Schritt versuchen, daß der VPIP richtig berechnet wird.

Was wären interessante Szenarien für die Berechnung:
Orbit 1: SpielerA limpt 8 mal, folded im SB, check im BB
Orbit 2: SpielerA raise 1mal, limp 6mal, fold 1mal, complete im SB, raise im BB
Orbit 3: Spieler A ist in den Blinds und vorher wurde gesetzt.
Orbit 4: ....

Und mit Papier und Bleistift kann man sich dann ausrechnen welcher VPIP dabei rauskommen müsste.

Vorteil gegenüber Unitstests für diese einzelnen Szenarien wäre, daß man so eine Testhandhistorie hier ins Forum zur Diskussion stellen könnte.

Und nach dem Schema könnte man die gängigsten Stats auf Korrektheit testen, und müsste sich nicht den Kopf zerbrechen, warum der VPIP bei den 3 Programmen schon so deutlich voneinander abweicht.

Hat man sich schon mit den Entwicklern der beiden anderen Tools in Verbindung gesetzt, oder steht das nicht zur Debatte?

nein