¿Como Definir si un Modelo es Funcional?

Una conversación de oficina sobre lo que realmente importa al evaluar un modelo: ¿la estructura, los supuestos… o los resultados?

Siempre se da la conversación entre cual es la mejor forma de estimar, pronosticar o inferir una problematica, se habla siempre de modelos complejos o lo que esta mas de moda, pero ¿como sabemos si un modelo funciona? ¿como se evalúan?

Tenía un debate en la oficina sobre cómo se deben criticar los modelos.

La discusión estaba así:

Omar dice que se critica el modelo en sí, su estructura, cómo funciona,etc.

Eduardo dice que los supuestos del modelo. Adriana dice que depende de lo que estés discutiendo. Y yo (Luis), digo que los resultados del modelo son los que deben evaluarse y no los supuestos.”

Los modelos, por definición, son abstracciones de la realidad y por tanto no pueden someterse a ningún tipo de prueba (son falsos, por definición).

Por tanto, su utilidad debe evaluarse no en términos de sus supuestos o de su estructura (propuesta de Omar y Eduardo), sino en función sus “testable predictions” y de su sencillez para explicar relaciones de interés para nosotros.

Si dos modelos tienen igual poder predictivo (i.e., arrojan las mismas predicciones), pero uno es más sencillo que otro, te quedas con el más sencillo (la navaja de Ocam).

Ahora bien, tu puedes tener un modelo muy sencillo, pero que si lo utilizas implica que la evidencia no apoya las hipótesis refutables que de él derivan, y por otro, tienes uno “ultra-sofisticado” para el cual la evidencia no rechaza las hipótesis refutables que de él derivan, pues te quedas con el “ultra-sofisticado”, porque sus predicciones, que sometes a prueba, en promedio no son rechazadas.

Los modelos se deben medir en función de las predicciones que arrojan, y no por sus supuesto.

Esto me recuerda unos comentarios de Stephen Hawking:

“[U]na teoría científica es un modelo matemático que describe y codifica las observaciones que realizamos. Una buena teoría describirá un amplio dominio de fenómenos a partir de unos pocos postulados sencillos, y efectuará predicciones definidas que podrán ser sometidas a prueba.

Si las predicciones concuerdan con las observaciones, la teoría sobrevive a la prueba, aunque nunca se pueda demostrar que sea correcta. En cambio, si las observaciones difieren de las predicciones, debemos descartar o modificar la teoría. (Como mínimo, esto es lo que se supone ocurre. En la práctica, la gente cuestiona a menudo la precisión de las observaciones y el talante moral de los que las han realizado).” Stephen Hawking

Un modelo es simplemente un conjunto de ecuaciones matemáticas. El modelo buscar encontrar una relación estadística entre las variables, sin embargo; esto generalmente no sera así.

Lo anterior se debe a que ademas de las variables que se usan en el modelo existen otras variables que afectan. Recordemos que en econometría existen el termino de error donde se encuentran el conjunto de variables (conocidas o desconocidas) que no se incluyeron en el modelo (Omisión de la influencia de eventos aleatorios innumerables, errores en la medición, comportamiento humano inderterminado).

El termino de error es una variables aleatoria, estocastica y desconocida. Estocástico: para cada valor de x existe toda una distribución probabilistica de valores de y, puede que nunca sea exacta.

Sobre Los Modelos:

“En una era en la cual muchos parecen ser guiados o limitados por modelos y métodos, [Mussa] siempre ha puesto al problema y la evidencia en el centro de la discusión.”

Harberger (2004), “The Real Exchange Rate: Issues of Concept and Measurement”. Paper prepared for a Conference in Honor of Michael Mussa.

Imagen hecha por DALL-E

Prompt: "A dynamic office conference room scene with four colleagues in an intense debate about statistical model evaluation. The room is divided into visual zones representing different perspectives:

OMAR's corner: Complex flowcharts and model architecture diagrams on the wall, showing intricate mathematical structures, neural networks, and algorithmic frameworks. He's pointing enthusiastically at these structural elements.

EDUARDO's area: A whiteboard filled with assumption lists, prerequisite conditions, and theoretical foundations. Mathematical assumptions like 'normality,' 'independence,' and 'linearity' are written prominently.

ADRIANA's space: She sits thoughtfully in the center with a balanced expression, surrounded by question marks and 'it depends' scenarios, representing contextual thinking.

LUIS's zone: Charts and graphs showing prediction accuracy, validation results, out-of-sample testing, and performance metrics. Visible elements include ROC curves, prediction vs. actual scatter plots, and error measurements.

The center of the table shows the eternal tension: a split image of a simple linear model vs. a complex neural network, both producing similar prediction results, illustrating Occam's Razor principle.

Floating above the scene are mathematical equations, econometric formulas with error terms (ε), and Stephen Hawking's quote about scientific theories in elegant typography. The atmosphere is professional but passionate, with coffee cups, laptops displaying statistical software, and papers scattered around.

The lighting emphasizes the contrast between theoretical complexity (shadows and intricate details) and practical results (bright, clear charts). Color scheme: professional blues and grays with bright accent colors for the performance charts and results.

Style: realistic corporate photography with subtle infographic overlays and mathematical elements floating in the air."