Los ecosistemas de IA estructurados en torno al open source y a modelos abiertos pueden generar nuevas opciones para las empresas. Esto según, Chris Wright, director de tecnología y vicepresidente sénior, Ingeniero Global, Red Hat
La apertura, según él, trae consigo la posibilidad de elegir y esta libertad da paso a una mayor flexibilidad: desde el modelo que mejor responde a las necesidades de la empresa hasta el acelerador subyacente y el lugar donde se ejecutará efectivamente la carga de trabajo. Las estrategias de IA exitosas seguirán a los datos, dondequiera que se encuentren en la nube híbrida.
“En mi opinión, debemos empezar a mirar más allá de los modelos. Sí, es verdad que los modelos son muy importantes para las estrategias de IA. Pero sin la inferencia, la faceta «práctica» de la IA, los modelos son simplemente conjuntos de datos que no «hacen» nada. La inferencia se refiere a la rapidez con la que un modelo responde a la información ingresada por el usuario y a la eficiencia con la que se pueden tomar decisiones en recursos informáticos acelerados. En última instancia, las respuestas lentas y la poca eficiencia cuestan dinero y generan desconfianza en el cliente”.
Con la IA open source, Red Hat AI Inference Server, que surge a partir del proyecto open source vLLM líder y está optimizada con tecnologías Neural Magic, ofrece a las implementaciones de IA un servidor de inferencia con soporte, ciclo de vida completo y listo para producción. Lo mejor de todo es que puede rastrear tus datos dondequiera que se encuentren, ya que la solución funcionará con cualquier plataforma de Linux, cualquier distribución de Kubernetes, Red Hat o de cualquier otro modo.
