Red Hat AI: innovación abierta, confianza empresarial.

En el vertiginoso mundo de la IA predictiva y generativa, las plataformas de los hiperescaladores (AWS, Azure y GCP) se han consolidado como un punto de partida interesante para muchas empresas.

Su principal atractivo radica en que simplifican el ciclo de vida de las soluciones de IA, ofreciendo un ecosistema integrado, reduciendo drásticamente la barrera de entrada y acelerando la creación de soluciones.

Los servicios de LLMs, como los ofrecidos por OpenAI y Anthropic, facilitan el acceso de forma sencilla e inmediata a modelos de última generación a través de una simple llamada de API acelerando drásticamente la innovación.

El atractivo y las ataduras de las plataformas cerradas

Sin embargo, esta conveniencia conlleva contrapartidas importantes que pueden frenar a una empresa a largo plazo:

• Vendor lock-in: una fuerte dependencia que limita tu capacidad de procesos a otras nubes, a un entorno local (on-premises) o a una arquitectura híbrida.
• Riesgos de privacidad: aunque los proveedores ofrecen garantías, el uso de APIs de terceros implica enviar datos corporativos sensibles fuera de tu perímetro de seguridad.
• Costes impredecibles: los costes operativos pueden escalar rápidamente con el uso, haciendo difícil prever el coste de tus soluciones de IA.

La alternativa abierta y su implementación en entornos empresariales

Es aquí donde emerge con fuerza el ecosistema de código abierto, que promete devolver el control a los equipos de desarrollo, ofreciendo transparencia, personalización y la soberanía sobre el código, los datos y la infraestructura.

Sin embargo, adoptar una estrategia puramente de código abierto, introduce sus propios desafíos empresariales: la complejidad de integrar, gestionar, securizar y mantener un stack tecnológico dispar.

Aquí es donde una solución como Red Hat AI marca la diferencia. Red Hat AI capitaliza toda la innovación y flexibilidad del ecosistema de código abierto, pero la envuelve en una plataforma empresarial consistente, segura y soportada.

Permite a las empresas entrenar, servir y monitorizar sus propios modelos de IA en la infraestructura que elijan, ya sea on-premise o en cualquier nube pública.

El futuro del entrenamiento y fine-tunning de LLMs es abierto

Una plataforma de IA abierta no solo te da la libertad de ejecutar Large Language Models (LLMs), también te da el poder de adaptarlos y mejorarlos. El ritmo acelerado de las comunidades abiertas ha generado que los modelos abiertos ya compiten cara a cara con sus alternativas propietarias, como demuestran los análisis MMLU (Massive Multitask Language Understanding).

** Fuente de la imagen: Maxime Labonne

En ocasiones es necesario alinear (hacer “fine-tunning”) un LLM para que se ajuste a las necesidades de un proyecto. Este proceso requiere bifurcar un modelo abierto existente y utilizar amplios recursos computacionales y grandes cantidades de información. Además, no es posible incorporar las mejoras obtenidas al modelo original.

¿Hay alguna forma de hacer este proceso más abierto y colaborativo? Sí, Red Hat ha creado InstructLab, un proyecto de código abierto que mejora el proceso de “fine-tunning” y facilita la contribución en el desarrollo de estos LLMs abiertos.

¿Cómo funciona?

• Aportación humana: los colaboradores aportan ejemplos sencillos y específicos (la "información semilla") sobre un tema clasificado conforme a una taxonomía.
• Generación sintética: el LLM usa esas semillas para generar una gran cantidad de información sintética.
• Validación y seguridad: se verifica que la información generada esté soportada (“grounded”) por la “información semilla” y que es segura.
• Re-entrenamiento: el modelo se re-entrena con esta nueva información, mejorando sus capacidades con mucho menos esfuerzo que el método tradicional.

Eficiencia de la inferencia con LLMs abiertos en entornos productivos

Una vez que tienes un LLM adecuado para tu aplicación, el siguiente reto es desplegarlo para que responda a las peticiones de los usuarios (inferencia).

Los LLMs abiertos con mejores prestaciones requieren hardware potente (como GPUs), lo que presenta un dilema económico en cuanto a su despliegue:

• Opción 1 (on-premise): alta inversión inicial en hardware (CAPEX).
• Opción 2 (nube): alto coste operativo continuo (OPEX).

Esto causa que, para cargas de trabajo con un volumen bajo o moderado, el modelo de pago por uso de servicios de LLMs (por ejemplo, OpenAI o Anthropic) sea económicamente más eficiente.

¿Es posible optimizar el uso de la infraestructura ejecutando inferencias de LLMs y mejorar su rentabilidad?

En 2023, el artículo “Efficient Memory Management for Large Language Model Serving with PagedAttention” concluye que los sistemas existentes tienen un problema de gestión ineficiente de la memoria que, puede ser desperdiciada por fragmentación y duplicación, e introduce vLLM, un algoritmo inspirado en la paginación de memoria virtual, para eliminar casi por completo este desperdicio y aumentar drásticamente el rendimiento.

Inspirados por ese artículo, el proyecto opensource vLLM ha desarrollado una librería para la inferencia y el servicio de LLMs con alto rendimiento.

Red Hat AI Inference Server es un servidor de inferencia de LLMs de nivel empresarial, surgido del proyecto vLLM que ofrece:

• Compresión de modelos: reduce el coste computacional manteniendo una alta precisión.
• Optimización del uso de memoria: aumenta el rendimiento y reduce la latencia durante la inferencia.
• Despliegue simplificado: ofrece una plataforma consistente para servir modelos.
• Libertad de ejecución: funciona on-premises, en la nube o en edge.

¿Y cómo escala cuando la demanda crece?

CoreWeave, Google, IBM Research, NVIDIA y Red Hat han lanzado la comunidad llm-d. Aprovechando la innovación de vLLM y las capacidades de Kubernetes, llm-d sienta las bases para una inferencia de IA distribuida, escalable y de alto rendimiento.

** Fuente de la imagen: llm-d.ai

Las principales funcionalidades que llm-d proporciona son:

• Un planificador de inferencia optimizado para vLLM, que asigna cada tarea al servidor más adecuado en tiempo real, considerando si es para procesar la entrada (Prefill) o generar la salida (Decode), la memoria caché disponible y la carga del sistema.
• Servicio desagregado separando las tareas de Prefill (intensivas en utilización de computación) y Decode (intensivas en uso de memoria) en instancias distintas y especializadas. Esto permite usar el hardware más eficiente y económico para cada fase.
• Memoria caché KV (Key-value) desagregada permitiendo usar una caché local en cada instancia (opción simple y sin coste) o una caché centralizada y compartida para un rendimiento superior a costa de mayor complejidad.
• Sistema de autoescalado (en desarrollo), que ajusta automáticamente la cantidad y tipo de servidores en función del tráfico y la capacidad del hardware.

La visión completa: un LLM es solo el principio

Un LLM, aunque sea el componente central, es solo una pieza dentro de un sistema de IA generativa robusto y de nivel empresarial. Para que estos modelos aporten un valor real, necesitan estar integrados en una plataforma que gestione todo su ciclo de vida: desde la experimentación y la gestión de datos hasta el despliegue, la orquestación y la monitorización.

Red Hat OpenShift AI es la plataforma integral que permite a tus equipos construir, desplegar y gestionar aplicaciones de IA predictiva y generativa de principio a fin. Está construida sobre el proyecto Open Data Hub e integra las mejores herramientas de código abierto para cada fase del ciclo de vida:

Además, Red Hat OpenShift AI se integra con un robusto ecosistema de partners tecnológicos como Starburst, HPE, Elastic, NVIDIA e Intel para extender aún más sus capacidades (pueden requerir licencias adicionales).

Tu estrategia de IA abierta

En un panorama donde la IA a menudo exige comprometer la soberanía de los datos, aceptar costes impredecibles y quedar atado a un único proveedor, Red Hat AI ofrece una alternativa estratégica.

Al unificar la innovación sin límites del código abierto (desde la mejora colaborativa de modelos con InstructLab hasta la inferencia ultra eficiente con vLLM) dentro de una plataforma empresarial completa y segura, te devuelve el poder de decisión.

Ya no tienes que elegir entre la velocidad y el control, o entre la potencia y la flexibilidad. El futuro de la IA es abierto y con Red Hat puedes construirlo a tu medida.