Fireworks AI advierte que usar solo un modelo de IA puede ser un desperdicio de dinero

Fireworks AI, una empresa especializada en inferencia gestionada, advierte que usar solo un modelo de inteligencia artificial puede ser un desperdicio de dinero. Según Rob Ferguson, vicepresidente de la empresa, el costo de mantener GPUs en funcionamiento es muy alto, y si no se usan al máximo, representan una pérdida financiera. Por eso, Fireworks recomienda enrutar las tareas de inferencia a través de varios modelos, según su complejidad y necesidades específicas.

Ferguson explica que el uso de múltiples modelos no solo reduce costos, sino que también mejora la precisión y la velocidad. La empresa asegura que su sistema de enrutamiento automático evalúa cada tarea y la asigna al modelo más adecuado. Por ejemplo, ciertos modelos pueden ser más eficientes en tareas de programación, mientras que otros son mejores en lenguaje natural.

Fireworks destaca que su enfoque es diferente al de los hiperscalers, que ofrecen GPUs pero dejan a los usuarios responsables de maximizar su uso. En cambio, Fireworks asegura que su plataforma optimiza la utilización de recursos a gran escala, manteniendo al mismo tiempo la calidad del modelo.

Otro punto que Ferguson menciona es la importancia de considerar el costo por tarea, no solo el costo por token. Según él, muchas empresas de modelos de vanguardia no son transparentes sobre el porcentaje de tareas que se cachéan, lo que puede ocultar costos reales. Fireworks, en cambio, tiene una política de retención de datos cero, lo que significa que no almacena datos de los usuarios para entrenamiento.

Además, Ferguson señala que el valor de los datos de los usuarios es a menudo subestimado. Si una empresa usa tus datos para entrenar modelos, debería obtener algún beneficio por ello. Fireworks asegura que sus clientes pueden reducir sus facturas en un 50% al usar múltiples modelos, y en algunos casos, incluso hasta un 80%.

Fireworks también menciona que la velocidad es un factor clave que muchas personas no consideran. Cuando las respuestas regresan rápidamente, el uso de la IA se vuelve más eficiente y práctico. La empresa trabaja con socios como Microsoft y ofrece servicios como Sovereign para empresas con necesidades de seguridad específicas.

En resumen, Fireworks AI defiende el uso de múltiples modelos para optimizar costos, rendimiento y precisión, y considera que la IA debe regresar a la economía, no solo a la tecnología.