Los modelos de IA de código abierto no salen gratis
La adopción de modelos de inteligencia artificial (IA) de código abierto por parte de las empresas está revelando una realidad inesperada: los costes asociados a su desarrollo, implementación y uso, sobretodo los del uso, a menudo superan los de las alternativas propietarias. Incluyendo la potencia de cálculo, la necesidad de talento especializado y la infraestructura, los costes se disparan. Lo que parecía una vía de escape del "vendor lock-in" se está convirtiendo en una trampa presupuestaria para muchas organizaciones.
La Inteligencia Artificial de código abierto es libre, pero no gratis.
Según un reciente artículo de TechTarget, las empresas que ejecutan modelos de código abierto en entornos de producción se enfrentan a un aumento significativo de los costes de cálculo. Modelos pequeños pueden requerir un gasto mensual de 300 dólares, mientras que los de alto rendimiento pueden disparar ese número a más de 30.000 dólares al mes, solo en GPUs. La implementación de alternativas a GPT-4, por ejemplo, ha demostrado triplicar los costes originales de la API, al considerar la infraestructura, el almacenamiento, la monitorización y los ciclos de reentrenamiento continuo.
El llamado "concurrency tax" agrava aún más la situación. Servir solo cinco flujos concurrentes puede elevar los costes mensuales por encima de los 60.000 dólares para cargas de trabajo empresariales. Además de la potencia de cálculo, los CTOs están reportando costes ocultos como la necesidad de ingenieros especializados en aprendizaje automático (ML), la complejidad de los pipelines de datos, el almacenamiento de checkpoints de modelos y la necesidad de reentrenamientos frecuentes para mantener la precisión.
El Coste Oculto de los "open weights"
La percepción de que la IA de código abierto es "gratis" es engañosa. Si bien los modelos pueden descargarse sin coste de licencia, su uso práctico exige una inversión considerable en recursos computacionales. Esta realidad se asemeja a ciclos de adopción anteriores de software de código abierto, donde la falta de consideración de los costes operativos ha llevado a sorpresas desagradables.
"Es crucial que las organizaciones realicen un análisis exhaustivo del coste total del producto (TCO) antes de adoptar soluciones de IA de código abierto", advierte el artículo. Ignorar los costes de cálculo puede resultar en sobrecostes presupuestarios inesperados.
Un Enfoque Híbrido: La Clave del Éxito
La solución óptima parece ser un enfoque híbrido. La IA de código abierto puede ser utilizada para diferenciadores estratégicos que requieran personalización, mientras que las APIs comerciales ofrecen una mayor previsibilidad en los gastos y un tiempo de implementación más rápido.
Más allá del Código Abierto: El Futuro de los Modelos Propietarios
Es importante recordar que los costes por token de los grandes modelos propietarios (OpenAI, Anthropic, Google) podrían aumentar. De hecho, no sabemos si los precios actuales son rentables para estas empresas o si forman parte de una estrategia de captación de mercado. Por lo tanto, al igual que hay que tener en cuenta los costes "ocultos" de las LLMs de código abierto, es importante estudiar bien el modelo de negocio de las empresas que ofrecen un servicio basado en utilizar LLMs de terceros via API, para asegurarse de que una eventual subida de los precios de estos proveedores no haga inviable el servicio propio. El ejemplo de Cursor, una empresa que ha tenido que ajustar sus precios y poner límites de uso de un día para otro, es digno de estudio en este sentido.
En definitiva, la adopción de IA de código abierto requiere una planificación cuidadosa y una comprensión realista de los costes asociados. Asociar "código abierto" a "gratis" ya sea en inteligencia artificial o en cualquier software, puede resultar ser una ilusión costosa si no se gestiona adecuadamente.
