El problema:
números que no aciertan

¿Algunas vez saliste de tu casa a la mañana con campera y después la llevaste todo el día en la mano? ¿Y te suena haber dejado el paraguas porque el pronóstico decía que no iba a llover y terminar empapándote?

Pero… ¿estaban realmente errados esos pronósticos? Cuando el servicio meteorológico afirma que hay un 70% de probabilidad de lluvia, salimos con paraguas. Pero, si no llueve, ¿estaba errado el pronóstico? Técnicamente no: afirmar que hay un 70% de probabilidad de lluvias es afirmar que hay un 30% de probabilidades de que no llueva, es decir, 3 de cada 10 días con 70% de probabilidad de lluvias, no llueve. Entonces, ¿por qué culpamos al servicio meteorológico cuando hacemos un asado y llueve, o cuando llevamos campera y después hace calor?

Periodistas, políticos, inversores, ahorristas, todas las personas son usuarias de los pronósticos económicos en alguna medida.

En economía pasa lo mismo. Periodistas, políticos, inversores, ahorristas, todas las personas son usuarias de los pronósticos económicos en alguna medida. Y hay consultoras especializadas en hacer los pronósticos. Quienes contratan a estas consultoras, muchas veces contratan a varias a la vez y reciben más de un servicio, entre ellos la realización de pronósticos de las principales variables de la economía. Aclaremos esto: hacer pronósticos económicos es uno de entre muchos otros servicios que ofrecen las consultoras económicas. 

¿Cómo se calcula qué tan acertadas o erradas son las proyecciones?

La verdad es que no es algo fácil. Una manera que encontramos es comparar los resultados de las consultoras con los de un modelo matemático sencillo que se llama modelo AR(1) de serie de tiempo, pero que podemos decirle Arturito. Arturito agarró los resultados históricos de la inflación, la tasa de crecimiento y el tipo de cambio de los últimos años y los proyectó hacia el futuro de un modo lineal. La comparación la hizo un equipo de investigación de la UBA (link al documento) y la conclusión fue la siguiente: cuando la proyección se hace en un horizonte temporal menor a los 6 meses, las consultoras pronostican mejor que Arturito; en cambio, cuando el horizonte temporal es mayor a 6 meses, Arturito iguala el grado de acierto de las consultoras. Esto quiere decir que para saber qué va a pasar de acá a 6 meses, las consultoras aciertan más; pero para saber qué va a pasar más allá de 6 meses, también se puede confiar en Arturito.

Si todavía tenés alguna duda, acá te mostramos los datos del REM para que navegues entre los pronósticos y el dato concreto de inflación y de crecimiento del PBI. 

Evolución histórica de bandas de confianza sobre pronósticos

Desde una perspectiva histórica, el gráfico de arriba muestra una serie de tiempo de bandas de confianza alrededor de los pronósticos de la inflación y del PIB de un mes hacia adelante. En cada período, las bandas son generadas usando valores históricos de los errores de pronóstico. Más específicamente, el ejercicio asume que los pronósticos no tienen sesgo y los errores se distribuyen de acuerdo a una distribución normal con varianza igual al error cuadrado medio durante los últimos seis meses para los que se dispone información.

Gráfico de abanicos sobre pronósticos a enero de 2022

Siguiendo la misma metodología, pero con una mirada hacia adelante, el gráfico de arriba representa las bandas de confianza asociadas a los pronósticos más recientes reportados en el REM a septiembre de 2022. Como es de esperar, el gráfico permite apreciar bandas de confianza más amplias a medida que se consideran pronósticos con un horizonte temporal más largo.

¿Esto quiere decir que los pronosticadores profesionales no hacen ningún aporte valioso? La verdad que no, sí hacen un aporte. El equipo de investigación de la UNSAM del que hablamos en el capítulo anterior fue a preguntarles por este tema de los aciertos y los errores. En las entrevistas hubo un gran consenso en que el principal producto de las consultoras no son las proyecciones, sino los escenarios. 

¿Los escenarios? ¿Qué son los escenarios? En la próxima sección vamos a hablar largamente de los escenarios, pero por ahora digamos que son conjuntos de variables que dan un marco interpretativo a los números y a los pronósticos. La idea central es que es fundamental poder interpretar los pronósticos. Entonces, ¿cómo sería una buena forma de interpretarlos?

Los escenarios son conjuntos de variables que dan un marco interpretativo a los números y a los pronósticos.

Cuando una consultora nos dice que la inflación a fin de año va a ser de 50%, nos tenemos que preguntar: ¿qué probabilidad hay de que sea exactamente ese número? O si queremos ser menos estrictos: ¿qué probabilidad hay de que sea entre 40% y 60%? ¿Tiene la misma probabilidad ser 10% más alta que 10% más baja? Estas preguntas y muchas otras no suelen estar presentes a la hora de leer los pronósticos económicos. Sólo nos interesa el número y cuando la realidad se desvía de ese número decimos que el pronóstico le erró. Entonces, ¿es realmente así?, ¿el pronóstico le erró o nos dejamos llevar por un número?

Más probabilidad y menos número

Los pronósticos no son números, los pronósticos son distribuciones de probabilidad. Tenemos que hablar de probabilidades porque en el mundo hay incertidumbre. Esto significa que el número que se difunde como “más probable” a lo mejor ni siquiera tiene una probabilidad de ocurrencia mayor al 50%. Por ejemplo, si el pronóstico indica que la inflación de un mes va a estar entre 45% y 55% con un 40% de probabilidad, debajo de 45% con un 30% de probabilidad y arriba de 55% también con un 30% de probabilidad, es posible que lo único que trascienda sea que “la inflación va a ser 50%”. Pero lo que el pronóstico dice realmente es que lo más probable es que la inflación va a ser menor a 45% o mayor a 55%. En palabras de economistas se diría así: cuando una consultora hace su proyección solo suele trascender el valor medio o mediano del pronóstico, pero no su desvío estándar ni los supuestos alrededor de ese número.

Los pronósticos son distribuciones de probabilidad. Hablamos de probabilidades porque en el mundo hay incertidumbre.

Otra cuestión que apareció en las entrevistas con los pronosticadores es que, a mayor trayectoria, más descreen de la posibilidad de emplear modelos econométricos para el análisis de la economía argentina. Ven su trabajo como algo más artesanal que econométrico, donde la experiencia y el “olfato” valen más que un modelo matemático. 

Ahora bien, ¿qué factores inciden en los desvíos de los pronósticos con respecto a los datos que posteriormente se dan en la realidad? Existe evidencia internacional de que los pronósticos tienen sesgos institucionales y afectan el desempeño macroeconómico de un país (Chatterjee y Nowak 2016, Dellas et al 2018, Kangur et al 2019). Sin embargo, a partir del estudio realizado por el equipo de investigadores de la UNSAM, la magnitud de los errores de pronóstico no depende de características internas de los pronosticadores como el tamaño, antigüedad, si es nacional o extranjera, si tiene contactos estratégicos concentrados o diversificados, y la afinidad ideológica. En cambio, algunos de los factores externos estudiados sí resultaron significativos como si el año es electoral o no, la volatilidad cambiaria y la existencia de cepo, mientras que otros factores externos no mostraron poder explicativo, como shocks internacionales, existencia de acuerdo vigente con el FMI y signo del gobierno. 

Al hacer pronósticos es necesario realizar una serie de supuestos de comportamiento de los agentes, sean personas e instituciones, discrecionales e impredecibles. En el caso de la política económica el ejemplo es claro: ¿cómo anticipar las decisiones de tasa de interés o de tipo de cambio del Banco Central? ¿Cómo saber de antemano las decisiones fiscales de Hacienda? Y también aplica para las personas: ¿cómo saber la reacción de la gente ante una determinada política o una determinada situación? Y finalmente, ¿cómo anticipar eventos que afectan a todo el mundo como un aumento de la tasa de interés de Estados Unidos o las decisiones de inversión de las reservas internacionales del banco central de Chino? ¿Cómo predecir el estallido de una guerra o la aparición de una pandemia?

Dijimos y repetimos: las consultoras hacen escenarios. Un escenario es la fusión de una serie de variables para determinados supuestos. Es usual que las consultoras ofrezcan más de un escenario, es más, muchas veces ofrecen tres y le asignan una probabilidad de ocurrencia a cada uno: el escenario más probable o “escenario base”, otro más optimista y otro más pesimista. Que no quede duda, en las entrevistas las consultoras nos confirmaron que los escenarios son el principal producto que ofrecen, es decir, mostrar las tendencias más probables del curso de la economía, y no los valores específicos que tomarán las variables en un determinado período de tiempo. 

Sin embargo, hay un hallazgo que merece la atención tanto para los productores como para los consumidores de pronósticos: en el REM encontramos períodos en los que los errores de pronósticos parecen mostrar cierta inconsistencia interna en los modelos. Hubo casos en los que se pronosticó una devaluación mayor junto con una inflación menor a las realmente sucedidas, subestimando el efecto inflacionario del tipo de cambio. Y aquí una de nuestros grandes aprendizajes: los escenarios deben ser consistentes. Acertarle al número es una cuestión que está más allá de las posibilidades de un pronosticador, pero la consistencia de los escenarios proyectados es fundamental.