Comparador del nivel de acierto de los pronósticos del tiempo

Analizando la fiabilidad de las previsiones meteorológicas

Evaluar el grado de acierto de los pronósticos meteorológicos no es una tarea sencilla. Supone múltiples desafíos tanto desde el punto de vista teórico/científico como desde el punto de vista práctico/tecnológico. Prueba de ello es que existen varios grupos de trabajo a nivel mundial que abordan esta temática, como el WWRP/WGNE Joint Working Group on Verification, patrocinado por la Organización Meteorológica Mundial.

Referencias en el ámbito científico

En esta página se intenta exponer parte de esta problemática de una forma breve y muy simplificada. Para profundizar en este tema desde el punto de vista científico, un buen punto de partida se encuentra en el siguiente enlace: Forecast Verification: Issues, Methods and FAQ. Se trata de una recopilación sobre el estado del arte en el ámbito de la verificación de pronósticos meteorológicos mantenida por miembros de la Agencia Australiana de Meteorología. Desde esa web, desarrollada en el marco del WWRP/WGNE Joint Working Group on Verification, se puede acceder a información mucho más detallada y rigurosa sobre este área de estudio, así como abundantes referencias dentro de la literatura científica.

Referencias en el ámbito tecnológico

A nivel internacional existen algunos ejemplos de webs que abordan la tarea de comparar o evaluar el acierto de pronósticos meteorológicos desde un punto de vista práctico y orientado al usuario. Presentan diferentes planteamientos, con mayor o menor éxito, cobertura geográfica, y rigor.

Dificultades prácticas: la falta de normalización de los pronósticos

Uno de los mayores problemas que plantea la verificación de los pronósticos de dominio público es la ausencia de un criterio normalizado en la forma en la que cada fuente de información meteorológica presenta sus previsiones.

Dentro de aquellos medios que expresan sus pronósticos en forma numérica, en la predicción de temperaturas es común la referencia a los valores máximo y mínimo esperados para un día determinado. Aunque existen formas de expresión alternativas, como aquellas en las que se presentan con más detalle las estimaciones de temperatura que se esperan a lo largo de diversas franjas horarias dentro del mismo día.

En el caso de precipitaciones el escenario se complica algo más. Aparte de la variabilidad existente en cuanto a la resolución temporal de las diferentes previsiones, los pronósticos expresados de forma numérica pueden responder a un enfoque probabilístico o cuantitativo. Y ni siquiera entre los medios que emplean un enfoque cuantitativo existe un consenso universalmente aceptado en cuanto al umbral a partir del cual considerar que las precipitaciones son significativas.

Por este y otros motivos, no es posible en las condiciones actuales adoptar una medida completamente objetiva y universal sobre el acierto de las previsiones meteorológicas de dominio público. Sin embargo sí se pueden plantear diversas métricas o indicadores que pueden resultar de utilidad para comprender hasta qué punto resultan fiables las predicciones emitidas por los distintos medios, y poder comparar unas con otras.

Determinando la precisión de los pronósticos de precipitaciones

En primer lugar, por simplicidad y generalidad, se ha considerado el siguiente evento: "presencia o ausencia de precipitaciones en la localidad X el día D".

En cuanto al intervalo temporal, se ha tomado como referencia el día de 24 horas por ser la unidad temporal mínima común a todas las fuentes. Así, la probabilidad de precipitación asociada a un día determinado sería la máxima de las probabilidades de las correspondientes franjas temporales que lo integren, de existir.

Para poder comparar de forma conjunta previsiones probabilísticas y cuantitativas, se considera equivalente a enunciar una probabilidad del 100% de precipitaciones cualquier cantidad superior a 0 mm que la fuente haya pronosticado. Y 0% en caso contrario.

En cuanto a las previsiones probabilísticas, se plantean dos alternativas. Mantener exactamente la probabilidad numérica definida en la fuente, o bien redondear a dos posibles valores, 100% o 0%, tomando como umbral una probabilidad del 50%. Por simplicidad y coherencia con lo anterior se ha adoptado el segundo criterio.

Limitaciones de la métrica definida para medir el porcentaje acierto en términos absolutos

La objetividad de la estadística anterior se fundamenta en que todas las fuentes de información meteorológica se intentan evaluar bajo las mismas condiciones. Y dado que la forma en la que cada fuente enuncia sus previsiones no está normalizada, ni es estándar, esta tarea no es sencilla, y no siempre resulta posible.

De una forma muy simplificada, y poco rigurosa, podríamos resumir estas condiciones refiriéndonos a sus dimensiones geográfica y temporal:

De esta forma, una métrica que promedia el nivel de acierto en términos absolutos, como la empleada en la elaboración de la estadística anterior, solamente resulta de utilidad cuando todos los valores a comparar se han obtenido bajo las mismas condiciones. Esto obligaría a que el conjunto de fuentes de información meteorológica que conforman la comparativa no pueda ampliarse, salvo que se decida hacer "borrón y cuenta nueva" con cada nueva incorporación.

Estableciendo las pautas para unas métricas más objetivas y operativas

Para poder comparar progresivamente un número cada vez mayor de emisores de predicciones meteorológicas, resulta necesario disponer de una métrica que permita establecer comparaciones en terminos relativos, o normalizados, que resulten de utilidad con independencia de las condiciones o escenarios de prueba empleados en cada caso.

Una posible solución a este problema es la que se plantea aquí,utilizando los resultados del criterio de predicción trivial como valor de referencia para todos los pronósticos. Así, restando a cada resultado el acierto obtenido por el predictor trivial tendríamos una medida normalizada. Mediante esta medida, valores positivos indicarían prestaciones superiores al predictor trivial, y valores negativos prestaciones inferiores.

En cualquier caso, para poder incluir una nueva fuente de pronósticos, y compararla con el resto, sigue siendo necesario esperar hasta acumular un número suficiente de resultados. Este tiempo de espera o latencia debería ser lo suficientemente grande para que los promedios comiencen a arrojar valores significativos. Pero frente a la medida absoluta, esta medida normalizada conseguiría el objetivo de reducir el sesgo que introducen las diferencias en cuanto a las época del año, o las localidades de referencia consideradas.

Además, este análisis se ha de complementar con otras métricas definidas siguiendo un razonamiento similar, o inspiradas en la metodología planteada por forecastadvisor. Resumiendo su planteamiento en relación a la medida del acierto en predicción de precipitaciones, desde forecastadvisor se propone lo siguiente: