El nuevo framework NVIDIA NeMo Megatron optimizado para NVIDIA DGX SuperPOD permite a las organizaciones desarrollar modelos de idiomas avanzados que pueden escalar hasta billones de parámetros
NVIDIA ha presentado el framework NVIDIA NeMo Megatron optimizado para entrenar grandes modelos de idiomas en la infraestructura NVIDIA DGX SuperPOD.
Esta combinación reúne software y hardware de nivel empresarial y listo para la producción, que ayudará a las organizaciones de todas las industrias a superar los desafíos de entrenamiento de modelos sofisticados de procesamiento de idiomas naturales.
Con NVIDIA NeMo Megatron, las organizaciones pueden entrenar enormes modelos de habla y de idiomas que pueden escalarse a billones de parámetros en la infraestructura de IA DGX SuperPOD. Esto permite el desarrollo de chatbots específicos del lenguaje y para la industria, asistentes personales, generación de contenido y resumen utilizando modelos que entienden una gama más amplia de contextos y significados.
“Los grandes modelos de idiomas han dado a la IA moderna nuevas capacidades para comprender, recordar y sintetizar ideas”, dijo Bryan Catanzaro, Vicepresidente de Investigación de Deep Learning Aplicado de NVIDIA. “A medida que los modelos de Idiomas continúan creciendo exponencialmente en tamaño y en aplicación, las empresas necesitan una infraestructura segura y un software escalable para ejecutar cargas de trabajo de NLP que sirvan a clientes, pacientes y ciudadanos de todo el mundo”.
Enormes Modelos de Idiomas Personalizados que se Desarrollan en Todo el Mundo.
Entre las primeras organizaciones en adoptar los modelos de idiomas complejos con NVIDIA DGX SuperPOD se encuentran SiDi, JD Explore Academy y VinBrain.
SiDi, uno de los institutos de investigación y desarrollo de IA más grandes de Brasil, ha adaptado el asistente virtual de Samsung para que lo usen los 200 millones de hablantes de portugués brasileño de la nación.
“El equipo de SiDi tiene una amplia experiencia en el desarrollo de asistentes virtuales y chatbots de IA, que requieren un potente rendimiento de IA y un software especializado que esté entrenado y adaptado a los matices cambiantes del lenguaje humano”, dijo John Yi, CEO de SiDi. “NVIDIA DGX SuperPOD es ideal para impulsar el trabajo avanzado de nuestro equipo y ayudarnos a ofrecer servicios de IA líderes en el mundo a los luso-hablantes en Brasil”.
JD Explore Academy, la división de investigación y desarrollo de JD.com, un proveedor líder de tecnología y servicios basados en la cadena de suministro, está utilizando NVIDIA DGX SuperPOD para desarrollar NLP para la aplicación del servicio al cliente inteligente, la venta minorista inteligente, la logística inteligente, la IoT, el área de la salud y mucho más.
VinBrain, una compañía de IA del área de la salud con sede en Vietnam, ha utilizado DGX SuperPOD para desarrollar e implementar un modelo de lenguaje clínico para radiólogos y telesalud en 100 hospitales, donde es utilizado por más de 600 profesionales de la salud.
Entrenamiento Simplificado de Grandes Modelos de Idiomas Listos para la Empresa.
NVIDIA NeMo Megatron se basa en los avances del proyecto de investigación de NVIDIA Megatron de código abierto, que estudia el entrenamiento de grandes modelos de idiomas transformadores a escala.
El framework NeMo Megatron automatiza la complejidad de este entrenamiento con bibliotecas de procesamiento de datos que ingieren, curan, organizan y limpian datos. También permite que los grandes modelos de idiomas se distribuyan en miles de GPUs utilizando tecnologías avanzadas para la paralelización de datos, tensores y procesos.
NeMo Megatron está optimizado para la arquitectura DGX SuperPOD, que cuenta con 20 o más sistemas NVIDIA DGX A100 y redes NVIDIA InfiniBand para proporcionar 100 petaflops o más de computación de IA segura y local, que es ideal para entrenar enormes cargas de trabajo masivas de NLP, como Megatron-Turing NLG 530B y GPT-3.
Las empresas pueden solicitar unirse al programa de acceso anticipado para el framework acelerado NVIDIA NeMo Megatron que permite entrenar grandes modelos de idiomas. NVIDIA DGX SuperPOD está disponibles a través de los socios globales de NVIDIA, que pueden proporcionar precios a los clientes calificados que los soliciten.
Regístrarse de forma gratuita para obtener más información sobre los Sistemas DGX durante NVIDIA GTC, que se realizará en línea hasta el 11 de noviembre. Mirar el discurso destacado de GTC a cargo de Jensen Huang, fundador y CEO de NVIDIA, que se transmitirá en vivo el 9 de noviembre y estará disponible en repetición.
Fuente Comunicae
