Árbol de decisión explicado: 15 nodos que se leen, 8.524 hojas que memorizan

Un árbol de decisión sin límite de profundidad acertó todos los días con que aprendió: AUC 1,000 sobre 74.145 filas. En los días de 2016-2026, que no había visto, bajó a 0,689, peor que una regresión logística. El mismo algoritmo, detenido en la séptima pregunta, llegó a 0,862.

Es la quinta entrega de la serie, con los mismos datos diarios de NASA POWER de siete ciudades de Chile que usé en Random Forest, regresión lineal, K-Means y regresión logística. La pregunta es la de siempre: ¿lloverá al menos 1 mm mañana? Entrené con 1984-2012, elegí cada parámetro con un período de validación y evalué en 2016-2026, en un contenedor con 8 CPU.

¿Qué es un árbol de decisión?

Un árbol de decisión es una lista de preguntas encadenadas. La primera pregunta divide todos los días en dos grupos; cada grupo recibe su propia pregunta, y así hasta llegar a una hoja. La hoja entrega la fracción de días con lluvia que terminaron ahí en el entrenamiento, que se usa como probabilidad.

Cada pregunta compara una sola variable con un umbral: «¿llovió hoy 0,44 mm o menos?». Para elegirla, el algoritmo prueba cada variable con los cortes candidatos que salen de sus valores observados y se queda con la división que deja los dos grupos más puros, medido con el índice de Gini. Es la idea de CART, el método que Breiman, Friedman, Olshen y Stone publicaron en 1984, y la que implementa scikit-learn.

Con profundidad 3, el árbol tiene 15 nodos y cabe en una página. Su primera pregunta es la lluvia de hoy. Si llovió poco, la segunda separa por latitud las ciudades desde Temuco al sur de las que están de Concepción al norte; si llovió, pregunta cuánto. Las últimas preguntas miran la lluvia otra vez o el componente norte-sur de la dirección del viento. Con esas tres preguntas llegó a AUC 0,831 en 2016-2026.

La lectura también muestra el límite. El cuarto día del ejemplo, en Punta Arenas, tuvo 0,92 mm y un viento que lo mandó a una hoja con 53 % de lluvia. No llovió. Ocho hojas son ocho probabilidades posibles, y todos los días de una hoja reciben la misma.

Mientras más pregunta, más memoriza

Nada obliga al árbol a detenerse en tres preguntas. Si lo dejo seguir, divide hasta que cada hoja tenga días de una sola clase.

Con cada nivel extra, el AUC en los días de entrenamiento sube. En validación sube hasta la profundidad 7 y después cae. Elegí la profundidad con esa curva, sin mirar 2016-2026: el árbol de profundidad 7 tiene 127 hojas y en 2016-2026 dio AUC 0,862.

Sin límite, el árbol llegó a profundidad 31 y 8.524 hojas, en promedio menos de nueve días de entrenamiento por hoja. Muchas hojas son puras, así que devuelven probabilidades de 0 o de 1. Cuando se equivocan, se equivocan con certeza total, y eso se ve en la pérdida logarítmica: 3,11 contra 0,36 del árbol de profundidad 7.

Detener la profundidad no es la única forma de frenarlo. Probé dos más, elegidas también con validación.

Exigir al menos 100 días por hoja dejó 478 hojas y AUC 0,863 en 2016-2026. La poda por costo-complejidad, que recorta ramas que aportan poco (partiendo de un árbol con al menos 5 días por hoja), dejó 167 hojas y AUC 0,861. Las tres terminaron en el mismo lugar.

El criterio para medir pureza importó poco. Con profundidad 8, Gini dio AUC 0,8615 y la entropía 0,8655, con la misma variable en la raíz.

La raíz se sostiene; las predicciones se mueven

Los árboles tienen fama de inestables: cambias un poco los datos y cambia el árbol entero. Lo medí de dos maneras distintas, porque no es lo mismo que cambie la estructura a que cambien las respuestas.

Remuestreé los datos 50 veces por bloques de ciudad y año, para que los días vecinos no quedaran repartidos como si fueran independientes. La primera pregunta fue la lluvia de hoy en los 50 casos; el umbral se movió entre 0,40 y 0,71 mm. Entrenando un árbol por cada bloque consecutivo de hasta tres años (el último, 2011-2012, tiene dos), pasó lo mismo: siempre la lluvia de hoy, con umbrales de 0,39 a 0,97 mm.

Las predicciones sí se movieron. Los 50 árboles de profundidad 7 no coincidieron en la etiqueta de lluvia o no lluvia en el 34,8 % de los días de 2016-2026; los de profundidad 3, en el 17,6 %. Con otra medida, no comparable con esas, dos árboles sin límite entrenados con mitades al azar de las filas discreparon en el 24,1 % de los días. Un bosque aleatorio existe justamente para promediar esas diferencias, como se vio en el post de Random Forest.

¿Qué variables importan? Permuté familias de variables juntas en el período de validación, para que una variable correlacionada no tapara a otra. Desordenar la lluvia de hoy y de ayer bajó el AUC del árbol de profundidad 7 en 0,133; la estación y la latitud, en 0,059; el viento, en 0,056; la presión, en 0,029. Humedad y punto de rocío juntos apenas lo movieron (0,002): las predicciones de este árbol casi no dependieron de ellas. Eso describe este árbol, no qué causa la lluvia.

Un árbol de regresión predice a escalones

Un árbol también puede predecir números. Cada hoja devuelve el promedio de sus días, así que la predicción es una escalera.

Para predecir la máxima de mañana con la de hoy, un árbol de profundidad 2 tiene 4 escalones y erra por 2,50 °C en promedio en 2016-2026; con profundidad 4, 16 escalones y 1,89 °C; con profundidad 8, 252 escalones y 1,85 °C. Más allá de los 39,5 °C del día más caluroso de entrenamiento, la predicción es plana: un árbol no extrapola. En el post de Random Forest medí ese mismo techo en un bosque.

Qué tan bien calibra y cuánto cuesta

El árbol de profundidad 7 da 118 probabilidades distintas. Predijo en promedio 23,4 % de lluvia y llovió en el 20,3 % de los días de 2016-2026. Salvo en el tramo más bajo, predijo más lluvia de la que cayó: en los días a los que dio entre 50 y 60 %, llovió en el 44 %.

El árbol quedó entre la logística y el bosque en casi todo: ordenó mejor que la logística y peor que el bosque, entrenó 7 veces más lento que la logística y 67 veces más rápido que el bosque. Su ventaja es otra: se puede leer, y se puede reescribir.

Dónde vive un árbol de decisión en un sistema real

|--- precip <= 0.44
|   |--- lat <= -37.79
|   |   |--- wind_cos <= -0.09
|   |   |   |--- class: 0.0
|   |   |--- wind_cos >  -0.09
|   |   |   |--- class: 0.0
|   |--- lat >  -37.79
|   |   |--- precip <= 0.03
|   |   |   |--- class: 0.0
|   |   |--- precip >  0.03
|   |   |   |--- class: 0.0
|--- precip >  0.44
|   |--- precip <= 3.53
|   |   |--- wind_cos <= -0.15
|   |   |   |--- class: 0.0
|   |   |--- wind_cos >  -0.15
|   |   |   |--- class: 1.0
|   |--- precip >  3.53
|   |   |--- wind_cos <= 0.76
|   |   |   |--- class: 1.0
|   |   |--- wind_cos >  0.76
|   |   |   |--- class: 1.0

• Reglas exportadas. Un árbol chico se traduce a if/else o a un CASE de SQL y corre donde no hay librerías de machine learning. Reescrito en Python puro, el de profundidad 3 puntuó un día en 0,0044 ms, contra 0,25 ms pasando por scikit-learn.
• Triage explicable. Cuando alguien tiene que justificar una decisión, el camino por el árbol es la justificación: tres preguntas, tres respuestas.
• Pieza base de otros modelos. Los bosques aleatorios y el boosting combinan muchos árboles; entender uno es entender la pieza que repiten.
• Exploración. Un árbol de profundidad 2 o 3 muestra rápido qué variable separa mejor, antes de entrenar algo más grande.

Cuándo lo elegiría: cuando la regla tiene que poder leerse o exportarse, o como primer vistazo a los datos. Cuándo no: cuando importa la probabilidad fina o la estabilidad de cada predicción, donde aquí un bosque de 200 árboles rindió más, ni cuando hay que extrapolar.

Fuentes

• Breiman, L., Friedman, J. H., Olshen, R. A. y Stone, C. J. (1984). Classification and Regression Trees. Wadsworth. Reedición: Routledge, 2017. DOI 10.1201/9781315139470.
• Quinlan, J. R. (1986). «Induction of decision trees». Machine Learning, 1(1), 81–106. DOI 10.1007/BF00116251.
• scikit-learn, árboles de decisión, DecisionTreeClassifier y poda por costo-complejidad.
• NASA POWER, Daily API y fuentes de datos.