Ressourcen reichen für die Fernerkundungserkennung aus, wenn der Benutzer Meter vom Mikrofon entfernt ist. Sprachgesteuerte digitale Heimassistenten und Automobilinfotainment sind vorgesehene Anwendungen.
Warum sollte die Sprache auf der lokalen Leiterplatte verarbeitet werden?
"Neuronale, netzwerkbasierte Spracherkennungsalgorithmen erledigen aufgrund von Bedenken hinsichtlich Latenz, Datenschutz und Netzwerkverfügbarkeit lokal mehr Aufgaben als in der Cloud", sagte Cadence.
Genanntes HiFi 5Es verfügt über die doppelte Audioverarbeitungskapazität und das Vierfache der neuronalen Netzwerkverarbeitung (NN) des früheren HiFi 4 DSP.
"Unser Ziel ist es, einen großen Vokabeltreiber vor Ort verfügbar zu machen, der in der Lage ist, natürliche Sprache zu verarbeiten", sagte Gerad Andrews, Marketingdirektor von Cadence, gegenüber Electronics Weekly. „Wir haben neuronale Netze zur Spracherkennung von Open Source untersucht und HiFi 5 für diese Art von Netzwerk entwickelt.
Zu den Verarbeitungselementen gehören:
- Architektur mit fünf sehr langen Befehlsworten (VLIW) -Slots, die zwei 128-Bit-Lasten pro Zyklus ausgeben kann
- DSP-Multiplizierer-Akkus:
Unterstützung für 8 32x32bit MAC / Zyklus oder 16 16x16bit MAC / Zyklus
Optional acht Gleitkomma-MACs mit einfacher Genauigkeit pro Zyklus - Neuronale Netzwerkvervielfacher:
32 16 × 8 MAC / Zyklus oder 16 × 4 MAC / Zyklus
Optional 16 Gleitkomma-MACs mit halber Genauigkeit pro Zyklus
Die DSP-MACs umfassen laut Andrews beispielsweise die Unterstützung der Sättigung, während die neuronalen Netzwerk-MACs für das Multiplizieren eines Vektorwerts mit einer Matrix optimiert sind. "In so vielen neuronalen Netzwerken verbringt man am Ende sehr viel Zeit damit, einen Vektor mit einer Matrix zu multiplizieren", sagte er und fügte hinzu: Die Wahl, wie viele MACs einzuschließen sind und welche Datentypen und Gewichtslängen zu unterstützen sind, war basierend auf der Arbeit mit HiFi 4-Kunden.
Für zwei Anwendungsfälle wurden Fließkomma-Berechnungen eingeführt - einfache Genauigkeit für das Vocal-Front-End zur Strahlformung und Echounterdrückung und halbe Genauigkeit für einige neuronale Netzwerke. "Floating-Punkte ermöglichen eine schnelle Markteinführung", sagte Andrews. "Wenn Sie beispielsweise in MatLab Fließkommazahlen entwickeln, ist das Konvertieren in Festkommazahlen sehr zeitaufwändig."
Der Multiplikator unterstützt 8-Bit-Gewichte, weil „der große Trend darin besteht, für Spracherkennung auf 8-Bit-Gewichte zu quantisieren, die nicht zu sehr an Genauigkeit abnehmen müssen. Sie sehen Papiere, in denen die Leute versuchen, auf 4 Bit zu gehen “, sagte Andrews. "Wir gehen davon aus, dass die meisten Algorithmen unseren 16x8-Bit-Multiplikator nutzen werden: 16 Bit für Daten vom Mikrofon und 8 Bit für die Gewichte."
Für andere Gewichtungsschemata stehen 4bit, 2bit und 1bit sowie 8bit zur Verfügung.
Ambiq Micro, Hersteller von Mikrocontrollern, die zur Energieeinsparung auf „Sub-Threshold“ -Siliziumprozessen aufbauen, war der erste HiFi-5-Kunde.
„Um die äußerst schwierige Herausforderung zu bewältigen, rechenintensive Geräte auf der Basis von neuronalen Netzwerken auf der Grundlage von weitem Feld und der Spracherkennung für energiesensitive Geräte zu entwickeln, hat sich Ambiq Micro als erster Silizium-Lizenznehmer des HiFi 5-DSP von Cadence entschieden“, so Ambiq vp vom Marketing Aaron Grassian. „Durch die Portierung des HiFi 5-DSP auf die leistungsoptimierte Sub-Threshold-Plattform von Ambiq Micro können Produktdesigner, ODMs und OEMs die Technologie der führenden Hersteller von Audiosoftware wie DSP Concepts und Sensory optimal nutzen Konversations-Benutzeroberflächen für tragbare, mobile Produkte ohne Einbußen bei Qualität oder Akkulaufzeit
Zur Unterstützung des geistigen Eigentums gibt es eine Bibliothek optimierter Bibliotheksfunktionen, die üblicherweise in der Verarbeitung neuronaler Netzwerke verwendet werden - insbesondere für die Sprachverarbeitung. Diese Funktionen zielen auf die Integration in gängige Machine Learning-Frameworks ab.
HiFi 5 ist auch kompatibel mit der Bibliothek der vorhandenen Audio- und Sprachcodecs sowie Audio-Verbesserungssoftwarepaketen, die für frühere Versionen der HiFi-Produktpalette des Unternehmens optimiert wurden.