El proyecto va avanzando. He empezado de nuevo con datos más fidedignos (filtrando jugadores con más de 10mil manos) y intentando analizar menos atributos. En cuanto genere algun resultado medible lo publicaré :)

Saludos.

A continuación os cuelgo el primer estudio un poco serio que hemos hecho para hacer la primera toma de contacto con el data Mining en Poker online. Ya os avanzo que las conclusiones han sido un poco malas y que hemos cometido varios errores de bulto, pero por algo se tiene que empezar ;)

Como ya sabéis, la minería de datos (DM, Data Mining) consiste en la extracción no trivial de información que reside de manera implícita en los datos. Dicha información era previamente desconocida y podrá resultar útil para algún proceso. En otras palabras, la minería de datos prepara, sondea y explora los datos para sacar la información oculta en ellos. Bajo el nombre de minería de datos se engloba todo un conjunto de técnicas encaminadas a la extracción de conocimiento procesable, implícito en las bases de datos.

Dentro de todas estas técnicas nosotros haremos hincapié en la clusterización.
“Clústering” es el proceso de agrupar datos en clases o clústeres de tal forma que los objetos de un clúster tengan una similitud alta entre ellos, y baja (sean muy diferentes) con objetos de otros clústeres.

Nuestra fuente de información será una inmensa base de datos de más de 22 millones de manos de Texas Hold’em No Limit 50. Una vez tengamos nuestra base de datos con las 22 millones de manos, haremos diferentes filtros para poder tratar mejor la información (preproceso), seleccionaremos los atributos más relevantes y pasaremos al proceso de clusterización. Mediante el análisis de tres experimentos, mostraremos las diferentes posibilidades que ofrecen los distintos algoritmos más conocidos hoy en día: X-means, K-Means y EM.

Para realizar todos los experimentos haremos uso de la potente herramienta: Weka (Waikato Environment for Knowledge Analysis – Entorno para Análisis del Conocimiento de la Universidad de Waikato) es un conocido software para aprendizaje automático y minería de datos escrito en Java y desarrollado en la Universidad de Waikato. Con este software trataremos de lograr nuestros objetivos, que no son otros que estudiar los distintos perfiles existentes en el Poker Online para así poder explotar debilidades y pulir defectos de los jugadores.  ¿Lo conseguiremos?

Ya os avanzo que no :( En estudio no hemos conseguido los resultados esperados. Pero ha servido para darnos cuenta de muchos de nuestros defectos que vamos a pulir.

Hemos cometido muchos errores, el más grave de los cuales ha sido subestimar el preprocesamiento de los datos. Antes de lanzarte hacia un ejercicio de clusterización debes estudiar concienzudamente los datos a tratar. Si bien es verdad que nuestro primer error ha sido tratar con una base de datos demasiado escasa (por los atributos que queríamos analizar), no es menos cierto que quizás el nivel escogido tampoco ha sido el adecuado. Debíamos haber tratado de importar una base de datos de un nivel más elevado de juego (e.g. NL200+) dónde los jugadores son mucho más sistemáticos jugando y no existe tanto jugador ocasional.
A raíz de qué cantidades de manos son necesarias para cada stat, ha surgido una discusión en un importante foro de poker. En ella se discute sobre la cantidad de manos para considerar una estadística fiable y salen a relucir conceptos como el intervalo de confianza. Aspectos que deberíamos haber tenido muy en cuenta antes de lanzarnos a la clusterización de los datos (y más con tantos atributos) ya que sólo que un atributo contenga valores dispares puede hacer que toda la clusterización se vea afectada (no digamos si son más de dos atributos los que tienen valores no fidedignos). Es por esto, por lo que creemos que no hemos obtenido todo lo que cabía esperar de nuestros experimentos, aunque hemos de resaltar, que en el último experimento, los resultados han sido muy esperanzadores porqué ya veíamos dónde estaba el problema y, consecuentemente, filtramos con muchas más manos y menos atributos.

Aún con todas las dificultades que nos hemos encontrado, hemos aprendido mucho sobre clusterización, llegando a la conclusión que para nuestro problema era mejor hacer uso del algoritmo EM en contra de usar el K-medias. También nos hemos familiarizado con usar la herramienta Weka (básica para cualquier trabajo de Data Mining) y ver sus infinitas opciones en filtrados, preprocesamiento, reglas de asociación, visualización de atributos, etcétera. Otra cosa a tener en cuenta es que nos hemos enfrentado a un problema “real”, con una ingente cantidad de datos por filtrar. Sólo la importación de los datos ya ha llevado más de 50 horas. Esto sumado a que la base de datos que crea el Holdem Manager no es conocida (hay muy poca documentación sobre cómo son las tablas) ha hecho que dedicáramos mucho tiempo en hacer ingeniería inversa para poder sacar nuestros datasets.

A través de la lectura del documento, se puede adivinar que como trabajo futuro lo primero que haremos será preparar bien los datos y hacer un estudio concienzudo sobre qué atributos usar y por qué, calculando qué cantidad de muestras necesitamos para tener ese dato con un intervalo de confianza suficiente para nuestro análisis. Por ejemplo para el cálculo del atributo 3bet  (fuente):

Si asumimos la stat dentro del rango 2-9% (lo cual resulta razonable), entonces no deberíamos permitirnos un error mayor al 0,5%.
Para ello podríamos calcular el peor escenario, que se daría en el 9%, y asumiendo ese rango de error.
Si aplicamos esta fórmula:

para determinar el tamaño muestral que necesitamos.
Calculando para:
p (con techito) = 0.09
E = 0.005
z = 1.96

Entonces llegamos a que necesitamos un tamaño muestral n>=12585 manos.

Y eso aplicado a una stat que es preflop (3bet), imaginemos los stats que ocurren aún con menos frecuencia como un “River continuation Bet” o similar.

Solamente haciendo un análisis similar con todos los atributos que consideremos necesarios para hacer clústering y filtrando con el número de manos más restrictivo de todos ellos, podremos estar seguros que, en caso de no obtener resultados satisfactorios con los algoritmos de clústering, es problema de que los algoritmos no están suficientemente perfeccionados o que no es un problema en el que aplicar clústering nos aporte nada (que podría ser una conclusión errónea de este trabajo).

Otra área muy interesante que nos gustaría haber podido tratar pero no nos ha sido posible por la incoherencia de los resultados obtenidos es la de reglas de asociación. Las reglas de asociación nos permiten atacar por otro bando nuestro problema y nos podrían llegar a dar información muy interesante acerca de cómo se comportan los perfiles de jugadores (en caso de conseguir clusterizar) o jugadores aislados (en caso de no poder clusterizar). Un enfoque que creemos sería muy práctico sería el de ir definiendo acciones claves (a criterio de experto) para ver cómo actúa cada perfil. Por ejemplo el comportamiento de un jugador cuando es robado por un perfil agresor y tiene cartas Premium (KK++) de mano. Ir definiendo numerosas reglas de este estilo e ir llenando nuestro data set con las distintas acciones que nos va respondiendo la base de datos (e.g % de call, raise y fold). Hay que destacar que esta manera de tratar el problema es mucho más compleja que lo que hemos estado haciendo hasta ahora, ya que implica unas sentencias SQL mucho más elaboradas y un agrupamiento en forma de Datasets muy complejo de realizar, pero creemos que es mucho más interesante las reglas que podríamos sacar así que no las reglas que sacaríamos si tratáramos la información como en el Clústering (con tantos por ciento de cada atributo).

Así que el siguiente paso está claro.  Trabajar con un dataset de NL 200+ (ya estoy importando sólo quedan 52 horas XD) y ser menos ambiciosos con el número de atributos a usar y decidir qué cantidad de muestras mínimas necesitamos para ellos (haciendo el cálculo anterior del 3bet para todos ellos). En eso estamos ahora =)  ¿Ideas sobre qué atributos usar?

En el siguiente post, colgaré la preselección y el estudio de cada atributo con el número mínimo de muestras necesarias. A ver que os parece.

Trabajo (report)

Fuente de los datos

Tutorial Weka I y II

Varios foreros de poker-red se han ofrecido a darme sus databases para colaborar con el proyecto. Es por eso que he creado una nueva sección en dónde quien quiera colaborar puede subir las manos. El link lo tenéis arriba al lado de Acerca del autor :) Por otro lado, también me han informado que en esta web hay miles de manos gratuitas pertenecientes al 2007, lo que es una fantástica ayuda para empezar.

Más cosas.

El forero Klaudioz me ha recomendado que para calcular rango de manos y demás probabilidades relacionadas con el poker, pruebe el programa pokerazor. Aún no lo he examinado exhaustivamente pero por lo poco que he visto me parece más completo que el que usaba hasta entonces: pokerstove. Así que si no lo conocais echadle un ojo porqué es muy interesante.

Por último recomendar una web de referencia para todo aquel que esté interesado en el mundo del poker online y la informática. Es un blog que sigo desde hace mucho tiempo y que imagino que muchos de vosotros conoceréis, pero por si a caso: coding the wheel (está en inglés).

Estoy preparando un par de posts sobre inteligencia artificial y sobre como intentaremos aprovechar su potencial para el poker online. También he empezado ya a usar el Weka, que es un conocido software para aprendizaje automático y minería de datos escrito en Java y desarrollado en la Universidad de Waikato. Cuando tenga los primeros resultados (aunque sean muy pobres) prometo publicar un post.

Muchas gracias a todos y animaros a comentar que el google analytics me dice que haberlos haylos ;)

Vamos allá:

config HUD

Name/NH
VPIP/PFR/AF/WTSD
Cbet/FCbet/RCbet/FcbetTurn
Fbbs/Fsbs/ATS(orl)/OLS (openlim sb)
3bet/F3bet/Winrate(bb/100)

• VPIP: 0-11 (tight), 11 – 18 (semiloose), 18+ (loose)
• PFR: 0-8 (Normal), 8-14 (Algo agressivo), 14+ (demasiado agressivo). Nota: Lo ideal es tener el pfr como mucho un 10%(con respecto al vpip) mas bajo. Claro q el pfr variara en fucnion del vpip q se tenga, pero contra mas distanciados esten, mas pasivo sera.
• AF: 0-1 (pasivo), 1-2 (normal), 2+ (agressivo)

• WTSD: 0-27 (tight), 27-35 (semiloose, aki es donde nos colocamos los SSS), 35+ (loose).
• Cbet: 80-100 (frecuentemente), 50-80 (habitualmente), -50 (solo con mano)
• Fcbet: 80-100 (frecuentemente), 50-80 (segun le pille ), -50 (no se tira casi nunca)
• Rcbet: 0-5 (solo lo hace con mano), 5-15(lo hace con mano y a veces robando), 15+ (no creerle los raises ).
• FcbetT: 75-100 (sino conecta se tira), 50-75 (igual aun sigue pagando con proyecto), -50 (pagara con cualkier cosa q lleve).
• Fbbs: 80-100 (defiende poko), 60-80 (defiende mirando vuestras stats), -60 (lo q hace para q no le robes 1bb xDDD)
• Fsbs:80-100 (defiende poko), 60-80 (defiende mirando vuestras stats), -60 (lo q hace para q no le robes 0.5bb xDDD). Nota: Si tiene muy desfasados los valores de BB y SB, es sintoma de q defiende mas por orgullo q por stats. Si veis q el tipo lo tiene muy desfasado, no usa programa de trakeo y seguramente sera un fishy
• ATS(orl): 0-15 (roba poko), 15-30 (roba a menudo pero con cierto cuidado), 30+( AL LADRON!!!!! )
• OLSB: Este aun lo tengo en fase experimental, pero cuan mas alto es mas tiendo a robarle. Por lo q he ido observando, cuando me “openlimpeansb” jugadores relativamente tights ( Vpip bajo), al robarle se tiran con facilidad, en cambio con jugadores mas loose la cosa suele acabar mal, salvo q tengan un fold a cbet alto, la mano se acabara enmarañando.
• 3bet: 0-3 (rango standar, jj+ y AK), 3-6 (seguramente 3betea en funcion de las stats, es relativamente tight pero si ve q puede 3betear de robo lo hace), 6+ (abusa en exceso, mas de una vez lo hara con manos debiles o incluso sin mano).
• F3bet: 66-100 (foldea frecuentemente), 50-66 (caera en al tentacion de pagaros con pp o ases relativamente bien acompañados), -50 (es un fish).
• Winrate: 0+ (ganador), -0(perdedor)

Apunte:: Para la primera fila (vpip….) con 100 manos ya nos podemos hacer la idea, para las demás 300 mínimo para tener datos fiables .

—————————————————————————————-

Mi idea inicial es preclasificar manualmente a los jugadores con los tres primeros atributos. Podríamos usar lógica difusa y así trabajar con los valores más cómodamente (rojo, naranja, verde). En la clasificación manual tenemos 27 combinaciones posibles (tres al cubo), o lo que es lo mismo 27 posibles perfiles de jugador preclasificados. Que sean posibles no quiere decir que existan, ya que es probable que no exista un grupo de jugadores con un perfil: VPIP-rojo, PFR-rojo, AF-rojo.

Una vez organizados los jugadores en perfiles, el siguiente paso es extraer los que más dinero ganan (por ejemplo más de 2BB/100). Ahora ya tenemos los tiburones de cada perfil de jugador. Aquí es cuando entra en juego el Clustering. Mediante herramientas como Weka (le dedicaremos varios posts cuando lo sepa hacer servir ;) intentaremos ver qué grupos de atributos son similares en cada subperfil de ganador.

-¿Por qué?

-Sencillo, si podemos averiguar qué relación existe entre un subperfil ganador y los atributos (no el VPIP, PFR y AGF sio los otros) que tenien en común, podemos hacer una comparación con nuestro juego y ver dónde tenemos leaks.  ¿Se va viendo la idea?

Es importante remarcar que lo que pretendemos con esto es sacar información no trivial es decir que gracias al Clustering no supervisado podamos extraer conclusiones que a simple vista se nos escapan. Otra cosa es que inicialmente lleguemos a conclusiones obvias (que no estaría nada mal) ya que estaríamos en el buen camino y sólo nos faltaría perfilar más y añadir más atributos para hacer el Clustering. Todo esto es un proceso de prueba y error; ir añadiendo y sacando atributos a nuestro Data Set y ver como nos van quedando los grupos después de aplicar los algorismos de Clustering.

En próximos artículos explicaré un poco más las bases del Clustering y como programas como Weka nos pueden ayudar a intentar hacer minería de datos.

¿Qué os parecen los valores y la elección de estos atributos para empezar? ¿Añadirías o quitarías alguno?

Muchas gracias.

Su objetivo es ganar experiencia en data mining usando distintas técnicas y herramientas junto con largas bases de datos. Es decir, persiguen un objetivo muy similar al nuestro. Antes de seguir, un inciso.

En el mundo del Poker es muy común usar el término “Data Mining” como sustituto de “recolección de datos”. Desde mi punto de vista es incorrecto. Aquí en el blog usaremos el término para hacer referencia a la extracción no trivial de información que reside de manera implícita en los datos.

Una vez aclarado el correcto uso de Data Mining debo decir que el paper es interesante ya que es una primera aproximación al problema de abordar la tarea de extraer conocimiento de las bases de datos, pero las conclusiones a las que llega son muy triviales y algo obsoletas (está escrito en 2005). Eran tiempos del Poker Tracker 2 y usan una base de datos de 170.000 manos.

Como vemos son conclusiones que pueden ayudar a un jugador a determinar qué porcentaje es el adecuado para ver el flop (VPIP) o el nivel de agresividad necesario para ser un jugador ganador. Está claro que éstos datos ya son vox populi en el mundo pokeril y para eso no necesitamos ninguna herramienta de data mining, pero por algo se empieza ;)

Al final los chicos del paper (por lo que deduce de su lectura) se curraron una interfaz web escrita en php que te predecía acciones preflop o en el flop. Por ejemplo: en el preflop te decía las posibles cartas -con probabilidades- que tenía tu rival basándose en las acciones que tú le habías descrito anteriormente (supongo). Pero eso nunca lo sabremos ya que el link que ponen en el paper está roto :(

Resumiendo. Los resultados de este paper muestran que la mejor estrategia es tener un VPIP entre 15-20 y a la vez ser muy agresivo (como bien dicen no han descubierto nada nuevo). La otra parte del proyecto trataba de calcular las probabilidades que un jugador tuviera una mano específica basándose en sus acciones anteriores. Concluyen que es fácil sacar conclusiones de nosotros mismos como jugadores del estilo “cuando hago raise en el flop tengo top pair el 39% de las veces” pero es muy difícil sacar conclusiones fiables de los oponentes con tan pocas manos (nada nuevo tampoco).

Como mencioné anteriormente, el estudio se quedo en una fase muy beta pero es interesante leerse las conclusiones que sacan del mismo para hacernos una idea de lo que nos espera.

Paper disponible aquí: datamining_report

La información es poder, en el póquer más si cabe todavía, y es por ello que minar o tener una buena base de datos de tus rivales es un punto básico par a incrementar tu winrate. Como os decía, el acto de minar hasta ahora era un proceso muy rudimentario, y consistia en dejar a tu ordenador rollo zombie toda la noche, como cuando dejabas el emule de joven (y no tan joven). Por decirlo de alguna forma, es poco eficiente.

De una necesidad, surge una idea de negocio, los servicios de datamining remoto. Básicamente consiste en una empresa que crea una estructura para minar a nivel industrial, por ejemplo, todas las manos, de todos los niveles, de una sala cualquiera. Luego revenden esa información por suscripción o en bloques ya sea semanal, mensualmente, etc…

Ahora bien, ¿merece la pena pagar por algo así? Por mi parte no tengo ninguna duda, pero es que además estamos hablando de un coste realmente ridículo. Por ejemplo, en una de las páginas que os voy a comentar, suscribirse para recibir unas 600.000 manos al mes de NL100$ cuesta 10$… sólo la energía que consumiría tu ordenador en una semana ya lo hace rentable (por no hablar de que no ibas a minar ni la sexta parte de manos).

Ahora bien, ¿es legal? Sí y no. Hay salas que explícitamente prohiben el datamining cuando no estás sentado a la mesa, como PokerStars o ^EverestPoker, pero otras salas/redes no. Por ejemplo, Party Poker, iPoker, o Full Tilt Poker. Por lo tanto, es legal para las segundas, pero no para las primeras.

¿Es lícito? Mientras no hagas nada que vaya en contra de las reglas de la sala, no hay ningún problema. Es obvio que tener miles de manos de tus rivales te da una ventaja inherente sobre ellos, pero esta información está al alcance de cualquiera. Si no se suscribe, no hace datamining, o no utiliza los programas estadísticos, es su problema, no el tuyo. Otra cuestión es si es lícita la existencia misma de estos programas, pero eso ya es otra historia.

Actualmente, hay dos páginas que ofrecen este servicio, HHDealer, que sólo mina sitios legales (Party, FTP e iPoker), y hhSmithey (Party, FTP, Stars y Absolute).

El problema es que justo HHDealer se centra en los niveles más bajos (pueden haber 600-700K de NL100, pero sólo 200-300K de NL1000$), pero aún así, creo que por 30$ merece la pena.

Qué es una RRDtool?

RRDtool es el acrónimo de Round Robin Database tool, o sea que se trata de una herramienta que trabaja con una BD que maneja Planificación Round-robin. Esta técnica trabaja con una cantidad fija de datos y un puntero al elemento actual. El modo en que trabaja una base de datos utilizando Round Robin es el siguiente; se trata la BD como si fuera un círculo, sobrescribiendo los datos almacenados, una vez alcanzada la capacidad de la BD. La capacidad de la BD depende de la cantidad de información como historial que se quiera conservar.

Qué tipo de datos pueden ser almacenados en una RRD?

Cualquiera, siempre que se trate de una serie temporal de datos. Esto significa que se tiene que poder realizar medidas en algunos puntos de tiempo y proveer esta información a la RRDtool para que la almacene.

Un concepto ligado a las RRDtool es el de SNMP, acrónimo de Simple Network Management Protocol. Este protocolo puede ser usado para realizar consultas a dispositivos acerca del valor de los contadores que ellos tienen (ej: una impresora). El valor obtenido de esos contadores es el que queremos guardar en la RRD.

Qué puedo hacer con esta herramienta?

Puedo, a través de Cacti , representar graficamente los datos almacenados en la RRD: uso de conexión a internet, datos como temperatura, velocidad, voltaje, número de impresiones, etc. La RRD va a ser utilizada para almacenar y procesar datos recolectados vía SNMP.

En definitiva, para hacer uso de una RRDtool, lo que se necesita es un sensor para medir los datos y poder alimentar al RRDtool con esos datos. Entonces, la RRDtool crea una base de datos, almacena los datos en ella, recupera estos datos y basandose en ellos, Cacti crea gráficos en formato PNG.

http://www.cacti.net/

http://es.wikipedia.org/wiki/Cacti

http://www.pokertracker.com/products/PT3/docs/

http://www.holdemmanager.net/forum/showthread.php?t=3595

• Manual para hacer reports propios en HM.

http://www.holdemmanager.net/forum/showthread.php?t=282

The Cygnus project, proyecto de un tal Cygnus que se encontró con el mismo problema que yo (no tener bien definida la estructura de la BBDD que usa HM) y lanzó un proyecto en los foros para ir averiguando como estaba hecha. Tengo que ponerme en contacto con él para saber en que se basa su trabajo.

• http://www.holdemmanager.net/forum/showthread.php?t=4370&highlight=cygnus
• http://www.holdemmanager.net/forum/showthread.php?t=4367&highlight=cygnus
• http://www.holdemmanager.net/forum/showthread.php?t=4168&highlight=cygnus
• http://www.holdemmanager.net/forum/showthread.php?t=4164&highlight=cygnus
• http://www.holdemmanager.net/forum/showthread.php?t=4167&highlight=cygnus
• http://www.holdemmanager.net/forum/showthread.php?t=4161&highlight=cygnus
• http://www.holdemmanager.net/forum/search.php?searchid=58830