RYG: tableros más compactos – cambios en el código

Los cambios en el diseño del tablero tienen su impacto en el código del juego. Además de una reducción obvia en el tamaño de la estructura de datos (de 88 a 29 bytes) hay un cambio en el enfoque de los datos: antes teníamos una matriz de 8×8 casillas que podían estar vacías, ocupadas por un ratón o por gatos; ahora tenemos directamente la posición de los cinco protagonistas y todo lo demás se presupone vacío.

Lógicamente tienen que cambiar cosas en el código como la forma de generar las jugadas o la forma de evaluar los tableros. Sin embargo, como veremos más adelante, y sorprendentemente, los cambios son mucho más acotados de lo que podría parecer en un principio.

Nuevo tablero actual:

Si la estructura de datos del tablero cambia, lo primero que cambia es el tablero actual, el que controla la situación actual de la partida (ver fichero “Arbol.asm”). En vez de tener 88 bytes, tendrá 29.

Nuevas rutinas para el manejo de tableros:

Más importante que lo anterior, también cambian las rutinas que permiten manejar tableros, es decir, las rutinas del fichero “Tableros.asm”. Sorprendentemente, muchas rutinas no cambian porque sólo manejan los datos de los tableros que no hemos tocado (nivel, turno, valor, padre o hijos).

Sin embargo, otras rutinas sí tienen que cambiar:

  • La rutina “inicializaTablero” ya no tiene que rellenar un tablero con 64 casillas vacías. Ahora sólo tiene que fijar las posiciones iniciales del ratón (offset = 59) y los gatos (offsets = 0, 2, 4 y 6), ya que todo lo demás se presupone vacío.
  • Las rutinas “dameContenido” y “fijaContenido” dejan de tener sentido. Ya no tenemos 64 casillas que rellenar con un contenido (#Raton, #Gato o #Vacio). Ahora tenemos cinco bytes con las posiciones (offsets) de ratón y gatos. Estas posiciones se especifican con las nuevas rutinas “fijaPosicionRaton” y “fijaPosicionGato”.
  • Las rutinas “dameOffset” y “dameFilaCol” antes empezaban a contar los offsets desde el comienzo de la estructura de datos. Por tanto, la casilla (0, 0) del tablero recibía el offset 24. Ahora cambiamos el criterio y a la casilla (0, 0) le asignamos el offset 0.
  • Las rutinas “dameRaton” y “dameGato” antes recorrían la matriz de 8×8 casillas para buscar y localizar el ratón o el gato enésimo (su offset). Ahora no hace falta buscar nada; tenemos la información a tiro hecho en los cinco bytes que sustituyen a la matriz de 8×8. Por tanto, esas rutinas se sustituyen por las nuevas rutinas “damePosicionRaton” y “damePosicionGato”.

Y poco más hasta aquí.

Nueva generación de jugadas:

La generación de jugadas del ratón está en el fichero “GenJugadasRaton.asm”. La pieza clave anteriormente eran las tablas con los movimientos permitidos:

Movimientos ratón

Es decir, los cambios en la posición (fila, columna) podían ser:

  • ($ff, $ff) = (-1, -1).
  • ($ff, $01) = (-1, 1).
  • ($01, $01) = (1, 1).
  • ($01, $ff) = (1, -1).

Como ahora no tenemos una matriz de 8×8 posiciones, ni tampoco gestionamos las posiciones en formato (fila, columna), sino en formato offset, esa pieza clave se convierte en esta otra:

Movimientos ratón - offsets

Es decir, el offset del ratón puede variar en:

  • $f7 = -9.
  • $f9 = -7.
  • $09 = +9.
  • $07 = +7.

Estas variaciones corresponden a estos cuatro movimientos (suponiendo que el ratón estuviera en el offset 43):

Movimientos offsets

De este modo, generar los movimientos posibles consiste en tomar el offset actual (43), recorrer las cuatro posiciones de la tabla, e ir sumando:

  • 43-9=34.
  • 43-7=36.
  • 43+9=52.
  • 43+7=50.

En el fondo, muy parecido a lo que ya hacíamos antes, pero manejando variaciones en el offset (-9, -7, +9, +7) en vez de variaciones en filas y columnas.

Otra pieza importante es la validación de las jugadas. Para que éstas sean válidas las reglas son (antes y ahora):

  • Tienen que generarse conforme a las reglas de movimiento de las piezas.
  • El destino tiene que estar vacío.
  • El destino tiene que caer dentro de los márgenes del tablero.

La primera condición se garantiza por la forma de generar las jugadas, partiendo de una tabla (antes tablas) que recogen los movimientos válidos.

La segunda es igual de fácil de comprobar ahora que antes. Antes teníamos la (fila, columna) destino; ahora tenemos el offset destino. Si el offset destino está ocupado por el ratón o algún gato, no será un destino válido. En caso contrario, sí lo será.

Y la tercera condición cambia un poco. Antes comprobábamos si la fila o la columna eran menores que cero o mayores que siete. Ahora tenemos un offset entre 0 y 63, y sumar o restar 7 o 9 puede hacer que se traspasen los bordes del tablero sin detectarlo, si no hacemos nada especial. Por ejemplo, 47-7=40 o 47+9=56:

Movimientos offsets - bordes

Una forma inteligente de impedir estos traspasos es dándose cuenta de que ratón y gatos siempre se mueven por las casillas blancas (offsets en blanco) y, cuando tiene lugar un traspaso ilegal de este tipo, acaban en una casilla negra (ver 40 o 56). Por tanto, llega con validar que el offset de destino es blanco (0, 2, 4, 6, 9, 11, 13, 15, …, 61, 63). Esto se puede hacer con una tabla de offsets válidos:

Offsets válidos

Por lo demás, todas las rutinas de “GenJugadasRaton.asm” (generar jugadas, validar jugadas, generar jugadas válidas, etc.) son esencialmente iguales a las que ya había antes, con la salvedad de que las posiciones de origen y destino se especifican mediante offsets, y no mediante parejas (fila, columna).

Y lo mismo se puede decir de “GenJugadasGatos.asm”.

Otros cambios:

Los cambios principales son los ya comentados: rutinas para manejar tableros y generación de jugadas. En el código surgen más cambios (evaluación de tableros, etc.) pero son cambios derivados de los anteriores.

En particular, el hecho de cambiar las rutinas “dameRaton” y “dameGato”, que buscaban en la matriz 8×8, por las nuevas rutinas “damePosicionRaton” y “damePosicionGato”, que devuelven las posiciones a tiro hecho, implica bastantes cambios en la evaluación de tableros (“EvalTableros.asm”), pero son más estéticos (por el cambio de nombre en las rutinas) que otra cosa.

También hay cambios menores en “PintaTableros.asm”. Antes los tableros tenían una matriz 8×8 que pintar (con “G”, “R” o un “.”). Ahora gráficamente hay que pintar la misma matriz 8×8, porque la representación gráfica del tablero no ha cambiado, pero la información de partida es muy distinta (cinco offsets).

Los cambios en el programa principal “RYG.asm” también se limitan a manejar las posiciones mediante offsets, en vez de mediante filas y columnas, o bien cambios en los nombres de algunas rutinas llamadas. Además, está el cambio obvio de pasar de tres a cuatro niveles de profundidad que, no olvidemos, es el motivo por el que hemos montado todo este lío 🙂 .

Cuatro niveles

Por último, un cambio de presentación. Como ahora podemos analizar hasta cuatro niveles de profundidad, es decir, hasta 1024 tableros, pintar “PENSANDO:” y un punto por cada tablero son muchos puntos. Por ello, se prefiere pintar la dirección del tablero que se está generando. De este modo, consumimos menos pantalla, hacemos menos scroll, tenemos igual idea del avance, y encima sabemos si el árbol consume más o menos memoria:

Nuevo pensando

Todos estos cambios pueden verse en la versión 18 del proyecto. Lo bueno de esta versión es que ya permite hasta cuatro niveles de profundidad.

Ah, y una lección que ganamos: lo más intuitivo para el programador (ej. tener un tablero de 8×8) no es siempre lo más intuitivo ni lo mejor para la máquina.


Código del proyecto: RYG18

RYG: tableros más compactos – mayor profundidad de análisis

Ya llevamos tres versiones de la función de evaluación que permite al C64, junto con el procedimiento minimax, decidir sus jugadas.

En la primera versión, hemos considerado como criterios la fila del ratón y el número de jugadas que puede hacer (incluyendo las situaciones particulares de que la fila del ratón sea cero – en cuyo caso gana el ratón – y de que su número de jugadas sea cero – en cuyo caso ganan los gatos –). En la segunda versión, hemos añadido como criterio que los gatos guarden una formación (una fila o dos). Y en la tercera versión, hemos añadido como criterio detectar si el ratón rebasa a los gatos. Y así deberíamos continuar añadiendo y revisando criterios hasta conseguir que el juego sea lo suficientemente fuerte.

Si a pesar de añadir muchos criterios no se consigue un juego fuerte, una medida complementaria (no sustitutiva) es ampliar la profundidad de análisis. Para ello ya sabemos que necesitamos más memoria y, si no disponemos de ella, hay que aprovechar mejor la disponible. Dicho de otro modo, hay que compactar las estructuras de datos.

Esto ya lo habíamos comentado muchas veces, y hasta ahora nos habíamos resistido por no complicar la programación, pero por fin ha llegado el momento.

Nueva estructura de datos compactada:

Los tableros usados hasta ahora eran así:

  • Cabecera: 3 bytes.
  • Nivel, turno y valor: 3 bytes.
  • Dirección del padre: 2 bytes.
  • Direcciones de los hijos: 2 x 8 = 16 bytes.
  • Tablero propiamente dicho: 8 x 8 = 64 bytes.
  • Total: 88 bytes.

De esos 88 bytes, la gran mayoría (64 bytes, el 73%) son el tablero propiamente dicho, es decir, el escaqueado de 8 x 8 casillas. Por tanto, éste es el gran candidato a una fuerte reducción.

Teniendo en cuenta que sólo tenemos cinco piezas, y que no hay capturas, esos 64 bytes se puede reducir a sólo cinco:

  • Un byte para guardar la posición del ratón.
  • Cuatro bytes para guardar las posiciones de los gatos.

Todas las demás posiciones del tablero, se consideran vacías.

Las posiciones del ratón y los gatos se podrían guardar en formato (fila, columna) pero, puestos a ahorrar memoria, casi mejor guardar los offsets (desplazamientos) respecto a la casilla (0, 0) del tablero, es decir, esto:

Offsets

Es decir, en la posición inicial del juego los offsets serían:

  • Gatos = 0, 2, 4 y 6.
  • Ratón = 59.

De este modo, el tablero compactado queda así:

  • Cabecera: 3 bytes.
  • Nivel, turno y valor: 3 bytes.
  • Dirección del padre: 2 bytes.
  • Direcciones de los hijos: 2 x 8 = 16 bytes.
  • Tablero propiamente dicho: 5 bytes.
  • Total: 29 bytes.

Es decir, hemos conseguido una reducción de 88 – 29 = 59 bytes, del 67%.

Reducciones adicionales:

El tablero se puede seguir compactando. El siguiente candidato por tamaño sería la tabla con las direcciones de los hijos (16 bytes), ya que no todos los tableros tendrán ocho hijos.

Se podría hacer una tabla de tamaño variable, marcando el final de la misma con algún marcador. O se podrían diseñar dos estructuras de datos, una con un máximo de ocho hijos para cuando muevan los gatos y otra con un máximo de cuatro hijos para cuando mueva el ratón.

En cualquier caso, es improbable que ahorrar 4 hijos / 8 bytes, y sólo en algunos tableros, permita ganar niveles adicionales en la profundidad de análisis, especialmente si se tiene en cuenta que el crecimiento del árbol de juego (número de tableros) es exponencial con la profundidad.

También se podría quitar la cabecera (tres bytes), aunque facilita la depuración de los datos y los programas, porque facilita identificar dónde empiezan los tableros en memoria.

Como no parecen opciones muy prometedoras, de momento, nos conformaremos con los tableros de 29 bytes.

Nueva profundidad de análisis:

Con este nuevo tamaño de tablero, las previsiones de consumo de memoria en función de los niveles de profundidad quedan así:

  • 1 nivel => 29 bytes x 8 movimientos = 232 bytes.
  • 2 niveles => 29 bytes x 8 x 4 = 928 bytes.
  • 3 niveles => 29 bytes x 8 x 4 x 8 = 7424 bytes.
  • 4 niveles => 29 bytes x 8 x 4 x 8 x 4 = 29696 bytes.
  • 5 niveles => 29 bytes x 8 x 4 x 8 x 4 x 8 = 237568 bytes.

Por tanto, al compactar los tableros de 88 a 29 bytes conseguimos subir de tres a cuatro niveles en la profundidad de análisis (29 KB). No podemos subir a cinco niveles porque el C64 no tiene esos 237 KB.

Es decir, a la hora de decidir su jugada, ahora el C64 podrá tener en cuenta los efectos de su jugada inmediata, la siguiente jugada del humano, nuevamente la jugada del C64 y, por último, la siguiente jugada del humano.

El número máximo de tableros a analizar por cada jugada será de 8 x 4 x 8 x 4 = 1024 tableros, aunque con frecuencia serán menos porque no siempre serán posibles todas las jugadas que en principio permiten las reglas de movimiento.

Todos estos cambios tienen su impacto en el código. Esto lo veremos ya en la entrada que sigue, aunque se adelanta la versión 18 del proyecto.


Código del proyecto: RYG18

RYG: función de evaluación – más mejoras

Como decíamos, el C64 ya juega mejor. Tras mejorar la formación de los gatos y detectar los rebases, ya es más difícil ganarle. Sin embargo, todavía es posible hacerlo, por lo que el proceso de mejora de la función de evaluación debería continuar.

De hecho, el proceso de mejora de la función de evaluación puede continuar casi indefinidamente. Iterativamente se pueden identificar nuevos criterios, introducirlos en el juego, probarlos y, en función de su contribución a la fortaleza del juego, mantenerlos o retirarlos.

Otra forma de mejorar la función de evaluación sería jugando muchas partidas, ya sea contra un humano o incluso contra sí mismo. Para esto último habría que adaptar un poco el juego, pero tampoco tanto, puesto que el C64 ya “sabe” mover el ratón. En vez de pedir la jugada del ratón al humano, debería decidirla el C64 en base a un árbol de juego, igual que ya hace en el caso de los gatos.

Sea como fuere, cuando el C64 pierda, se deberá identificar el movimiento que ha sido clave en la derrota y, más en particular, el criterio que ha hecho que el C64 se haya decantado por ese movimiento, reduciendo su peso o su puntuación para evitar que se repita. Y si esto (aislar el criterio clave en la derrota y ajustar su peso) fuéramos capaces de hacerlo automáticamente, sin intervención de un programador, ya casi estaríamos hablando de machine learning.

En cualquier caso, la mejora de la función de evaluación es un proceso iterativo y largo. Y si después del proceso no se han conseguido los resultados esperados habría que plantearse alternativas, como ampliar la profundidad de análisis compactando las estructuras de datos.