¡Tencent Hunyuan lanza nuevamente su gran carta de AI de código abierto! El modelo Hunyuan-A13B se presenta, desafiando a la bestia de 80B con sus 13B de parámetros.

robot
Generación de resúmenes en curso

Con la llegada de la IA generativa a una nueva etapa, los modelos de gran tamaño, aunque robustos, también conllevan altos costos de recursos y dificultades de implementación. El último modelo de lenguaje a gran escala de Tencent, Hunyuan-A13B, que es de Código abierto, ha tomado un nuevo camino ligero y eficiente: aunque tiene un total de 80 mil millones de parámetros, solo activa 13 mil millones de parámetros en cada inferencia, lo que reduce significativamente el costo de inferencia a través de la arquitectura "Mixture-of-Experts (MoE)", sin sacrificar la comprensión del lenguaje ni la capacidad de razonamiento.

Rompiendo los cuellos de botella de rendimiento y recursos: Análisis de la infraestructura tecnológica de Hunyuan-A13B

Hunyuan-A13B utiliza una arquitectura MoE dispersa, que cuenta con 64 módulos de expertos y un experto compartido. Durante cada inferencia, solo se activan 8 de los expertos, junto con la función de activación SwiGLU y la técnica GQA (Atención por Consulta Agrupada), lo que puede mejorar efectivamente la eficiencia del uso de memoria y el rendimiento de inferencia.

Además, su cantidad de datos de preentrenamiento alcanza los 20 billones de tokens, que incluyen 250 mil millones de datos de alta calidad del ámbito STEM, lo que refuerza el rendimiento del modelo en matemáticas, ciencias y razonamiento lógico. El entrenamiento general se lleva a cabo en tres etapas: preentrenamiento básico, entrenamiento de recocción rápida y entrenamiento de extensión de contexto largo, que en última instancia soporta una capacidad de procesamiento de contexto de hasta 256K tokens.

Elige entre dos modos: Rápido vs. Pensamiento profundo, cambio libre.

Hunyuan-A13B introduce un mecanismo de inferencia de doble modo (Dual-mode Chain-of-Thought) que cambia automáticamente entre los modos de "pensamiento rápido" y "pensamiento lento" según la complejidad de la tarea. El pensamiento rápido es adecuado para consultas simples diarias, enfatizando baja latencia y alta eficiencia; el pensamiento lento activa rutas de inferencia de Chain-of-Thought más largas, abordando problemas lógicos de múltiples pasos y deducciones complejas, equilibrando precisión y uso de recursos.

Los resultados de la evaluación son impresionantes

En múltiples pruebas de referencia reconocidas, el Hunyuan-A13B ha mostrado un rendimiento excepcional. Ha alcanzado el primer lugar en razonamiento matemático (como AIME 2024, MATH) y también se ha destacado en razonamiento lógico (como BBH, ZebraLogic). Incluso en pruebas de texto largo que ponen a prueba la profundidad del modelo, como LongBench-v2 y RULER, el Hunyuan-A13B ha demostrado una asombrosa capacidad de retención de contexto e integración lógica, superando a Qwen3-A22B y DeepSeek-R1, que tienen muchos más parámetros que él.

Frente a los desafíos del entorno abierto, la capacidad de invocación de herramientas se ha actualizado completamente.

Además de las habilidades lingüísticas y de razonamiento, Hunyuan-A13B también ha mejorado significativamente las capacidades del Agente. En pruebas como BFCL v3 y ComplexFuncBench, que se centran en la invocación de herramientas, planificación y diálogos de múltiples turnos, su rendimiento no solo supera al de Qwen3-A22B, sino que también ocupa el primer lugar en la prueba C3-Bench, demostrando su gran capacidad para adaptarse a flujos de trabajo de tareas complejas.

La capacidad de procesamiento de inferencias está por las nubes, y la eficiencia de despliegue merece atención.

Según el informe de pruebas reales, el Hunyuan-A13B también sorprende en eficiencia de inferencia. Combinado con marcos de inferencia existentes como vLLM, TensorRT-LLM, etc., puede alcanzar un rendimiento de casi 2000 tokens/s con un tamaño de lote de 32 y una longitud de salida de 14K tokens. En condiciones de precisión cuantificada como INT8 y FP8, también puede mantener el rendimiento, lo que es crucial para el despliegue empresarial.

Alto rendimiento y alta relación calidad-precio, los modelos de Código abierto llegan como una nueva opción.

Tencent establece un nuevo estándar en el ámbito de los modelos de lenguaje de código abierto a través de Hunyuan-A13B. Este modelo no solo supera el estereotipo de que "los modelos pequeños no pueden competir con los grandes", sino que también ofrece flexibilidad de razonamiento y capacidad de adaptación a múltiples tareas, convirtiéndose en el nuevo buque insignia en el campo de los LLM de código abierto. Para los desarrolladores y empresas con recursos limitados que aún buscan soluciones de IA eficientes, Hunyuan-A13B es sin duda una poderosa nueva opción que merece atención.

¡Tencent Hunyuan lanza otra gran carta de AI de código abierto! El modelo Hunyuan-A13B hace su aparición, desafiando al monstruo de 80B con 13B de parámetros, apareció por primera vez en Chain News ABMedia.

Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Recompensa
  • Comentar
  • Compartir
Comentar
0/400
Sin comentarios
  • Anclado
Opere con criptomonedas en cualquier momento y lugar
qrCode
Escanee para descargar la aplicación Gate
Comunidad
Español
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)