Los recursos son suficientes para el reconocimiento de voz de campo lejano, donde el usuario está a metros del micrófono. Los asistentes domésticos digitales controlados por voz y la información y entretenimiento automotriz son aplicaciones destinadas.
¿Por qué procesar el habla en el PCB local?
"Los algoritmos de reconocimiento de voz basados en redes neuronales están realizando más tareas a nivel local, en lugar de en la nube, debido a las preocupaciones sobre la latencia, la privacidad y la disponibilidad de la red", dijo Cadence.
Llamado HiFi 5, tiene el doble de capacidad de procesamiento de audio y cuatro veces el procesamiento de la red neuronal (NN) del anterior HiFi 4 DSP.
"Nuestro objetivo es hacer que un gran motor de vocabulario esté disponible localmente y sea capaz de procesar lenguaje natural", dijo el director de marketing de Cadence, Gerard Andrews, a Electronics Weekly. "Encuestamos las redes neuronales de reconocimiento de voz de código abierto, y diseñamos HiFi 5 para ejecutar ese tipo de redes.
Los elementos de procesamiento incluyen:
- Arquitectura de cinco segmentos de palabra de instrucción muy larga (VLIW) capaz de emitir dos cargas de 128 bits por ciclo
- Multiplicadores-acumuladores DSP:
Compatibilidad con 8 32x32bit MAC / ciclo o 16 16x16bit MAC / ciclo
Opcional ocho MAC de punto flotante de precisión simple por ciclo - Acumuladores neuronales multiplicadores de red:
32 16 × 8 MAC / ciclo o 16 × 4 MAC / ciclo
Opcional 16 MAC de punto flotante de media precisión por ciclo
Los MAC DSP, según Andrews, incluyen, por ejemplo, soporte para la saturación, mientras que los MAC de red neuronal están optimizados para multiplicar un valor vectorial por una matriz. "En tantas redes neuronales, terminas gastando una gran cantidad de tiempo multiplicando un vector por una matriz", dijo, y agregó que: la elección de cuántos MAC incluir, y qué tipos de datos y longitudes de peso admitir, fue Basado en el trabajo con clientes HiFi 4.
Se han incorporado las matemáticas de punto flotante para dos casos de uso: precisión simple para el extremo delantero vocal para la formación de haz y cancelación de eco, y media precisión para algunas redes neuronales. "El punto flotante da un tiempo rápido para el mercado", dijo Andrews. "Por ejemplo, si desarrolla algo de punto flotante en MatLab, convertirlo a punto fijo requiere bastante tiempo".
El multiplicador soporta ponderaciones de 8 bits porque "la gran tendencia es cuantificar hasta ponderaciones de 8 bits para el reconocimiento de voz, lo que no tiene que cambiar demasiado en precisión. Usted ve documentos presentados donde las personas están tratando de bajar a 4 bits ", dijo Andrews. "Anticipamos que la mayoría de los algoritmos aprovecharán nuestro multiplicador de 16x8bit: 16 bits para datos del micrófono y 8 bits para los pesos".
Para otros esquemas de ponderación, está disponible la operación de 4bit, 2bit y 1bit, así como 8bit.
Ambiq Micro, productor de microcontroladores basados en procesos de silicio "por debajo del umbral" para ahorrar energía, fue el primer cliente de HiFi 5.
"Para enfrentar el desafío extremadamente difícil de llevar los algoritmos de reconocimiento de voz y procesamiento de campo lejano basados en redes neuronales de computación intensiva a dispositivos sensibles a la energía, Ambiq Micro eligió ser el primer licenciado de silicio del HiFi 5 DSP de Cadence", dijo Ambiq, vicepresidente de marketing. Aaron Grassian. “Trasladar el HiFi 5 DSP a la plataforma de potencia optimizada por debajo del umbral de Ambiq Micro, los diseñadores de productos, los ODM y los OEM pueden aprovechar al máximo la tecnología de los líderes de software de audio como DSP Concepts y Sensorial al agregar la integración, el comando y el control del asistente de voz, y Interfaz de usuario conversacional para productos portátiles y móviles sin sacrificar la calidad o la duración de la batería ".
Respaldando la propiedad intelectual, hay una biblioteca de funciones de biblioteca optimizadas que se utilizan comúnmente en el procesamiento de redes neuronales, especialmente para el procesamiento de voz. Estas funciones están dirigidas a la integración dentro de los marcos populares de aprendizaje automático.
HiFi 5 también es compatible con la biblioteca de firmas de códecs de audio y voz existentes, y paquetes de software de mejora de audio, optimizados para versiones anteriores de la gama de productos HiFi de la firma.