MLSIP benchmark: FT-Transformer y Random Forest demuestran un rendimiento similar
Tras meses de diseño y desarrollo, el proyecto MLSIP ha alcanzado un hito clave: la validación comparativa de los modelos de Machine Learning. Tras un exhaustivo benchmark para evaluar qué algoritmo ofrece las mejores prestaciones para la tarea de optimización de rutas SIP, y los resultados han sido reveladores.
El análisis se centró en comparar Random Forest, un modelo clásico y robusto, con FT-Transformer, una arquitectura de Deep Learning más moderna y diseñada específicamente para datos tabulares. Para llevar a cabo la comparativa, se utilizó la librería Pytorch Tabular, que simplifica la evaluación de diferentes modelos de aprendizaje profundo.
En una primera fase, se evaluaron cuatro algoritmos de Deep Learning, entre los que FT-Transformer y CategoryEmbeddingModel destacaron por obtener las mejores métricas de F1 y accuracy. Tras una optimización más profunda, se seleccionó FT-Transformer como el modelo final de este grupo.
La prueba decisiva fue enfrentar a FT-Transformer contra Random Forest, entrenando ambos modelos con el mismo conjunto de datos generado en el testbed del proyecto. La conclusión fue sorprendente: las prestaciones de ambos modelos resultaron ser muy similares para este caso de uso. En la métrica clave de F1 sobre el conjunto de datos de prueba, FT-Transformer alcanzó un valor de 0.7308, mientras que Random Forest obtuvo un 0.7287, una diferencia prácticamente insignificante.
Este hallazgo es de gran valor estratégico. Valida que un modelo más tradicional, interpretable y computacionalmente menos costoso como Random Forest ofrece un rendimiento excelente, proporcionando una alternativa altamente eficaz al más complejo FT-Transformer. Esta flexibilidad permitirá a Quobis adaptar la solución final a diferentes escenarios de despliegue, garantizando siempre el mejor equilibrio entre rendimiento y simplicidad.
