Bronnen zijn voldoende voor far-field spraakherkenning, waarbij de gebruiker zich op een meter afstand van de microfoon bevindt. Stemgestuurde digitale thuisassistenten en automotive-infotainment zijn bedoelde toepassingen.
Waarom de spraak verwerken op de lokale PCB?
"Neurale netwerkgebaseerde algoritmen voor spraakherkenning voeren meer taken lokaal uit, in plaats van in de cloud, vanwege zorgen over latentie, privacy en beschikbaarheid van netwerken", zei Cadence.
HiFi 5 genoemd, het heeft twee keer de audioverwerkingscapaciteit en vier keer de verwerking van het neurale netwerk (NN) van de eerdere HiFi 4 DSP.
"Ons doel is om een grote woordenschatmotor lokaal beschikbaar te maken die in staat is om natuurlijke taal te verwerken", vertelde Cadence Marketing Director Gerard Andrews aan Electronics Weekly. "We hebben open-source spraakherkenningsneurale netwerken onderzocht en we hebben HiFi 5 ontworpen om dat soort netwerken uit te voeren.
Verwerkingselementen omvatten:
- Vijf zeer lange instructiewoord (VLIW) -slotarchitectuur die in staat is om twee 128-bits belastingen per cyclus uit te geven
- DSP-multiplier-accumulators:
Ondersteuning voor 8 32x32bit MAC / cyclus of 16 16x16bit MAC / cyclus
Optionele acht drijvende-komma-MAC's met één precisie per cyclus - Neurale netwerk-multiplier accumulatoren:
32 16 × 8 MAC / cyclus of 16 × 4 MAC / cyclus
Optioneel 16 drijvende MAC's met halve precisie per cyclus
De DSP MAC's, volgens Andrews, omvatten bijvoorbeeld ondersteuning voor verzadiging, terwijl de neurale netwerk-MAC's zijn geoptimaliseerd voor het vermenigvuldigen van een vectorwaarde door een matrix. "In zoveel neurale netwerken, besteed je een enorme hoeveelheid tijd aan het vermenigvuldigen van een vector met een matrix," zei hij, eraan toevoegend dat: de keuze van het aantal MAC's dat moest worden opgenomen, en welke datatypes en gewichtlengtes te ondersteunen, was gebaseerd op het werken met HiFi 4-klanten.
Drijvende-kommawiskunde is opgenomen voor twee use-cases - enkele precisie voor het vocale front-end voor bundelvorming en echo-annulering, en half-precisie voor sommige neurale netwerken. "Drijvende komma geeft een snelle time-to-market," zei Andrews. "Als u bijvoorbeeld een zwevend punt in MatLab ontwikkelt, is het converteren naar een vast punt behoorlijk tijdrovend."
De multiplier ondersteunt 8bit-gewichten omdat "de grote trend is om tot 8-bit-gewichten te kwantiseren voor spraakherkenning, die niet te veel in nauwkeurigheid inruilt. Je ziet wel papieren verschijnen waar mensen proberen af te dalen naar 4 bit, "zei Andrews. "We verwachten dat de meeste algoritmen zullen profiteren van onze 16x8bit-multiplier: 16 bits voor gegevens van de microfoon en 8 bits voor de gewichten."
Voor andere wegingsschema's is 4-bits, 2-bits en 1-bits werking beschikbaar, evenals 8-bits.
Ambiq Micro, producent van microcontrollers gebouwd op 'sub-threshold' siliciumprocessen om energie te besparen, was de eerste HiFi 5-klant.
"Om de extreem moeilijke uitdaging aan te gaan om computerintensief op neuraal netwerk gebaseerde farfield-processing en algoritmen voor spraakherkenning te brengen voor energiegevoelige apparaten, koos Ambiq Micro ervoor om de eerste silicium-licentiehouder te zijn van Cadence's HiFi 5 DSP", aldus Ambiq vp van marketing Aaron Grassian. "Door de HiFi 5 DSP over te dragen aan het platform met Ambiq Micro's subdrempelwaarde-geoptimaliseerde platform, kunnen productontwerpers, ODM's en OEM's het meeste profiteren van technologie van audiosoftwareleiders zoals DSP Concepts en Sensory door toevoeging van stemassistentintegratie, -opdracht en -controle, en gebruiksvriendelijke gespreksinterfaces voor draagbare, mobiele producten zonder in te boeten aan kwaliteit of levensduur van de batterij. "
Ondersteund door de intellectuele eigendom, is er een bibliotheek met geoptimaliseerde bibliotheekfuncties die gewoonlijk worden gebruikt bij de verwerking van neurale netwerken - vooral voor spraakverwerking. Deze functies zijn gericht op integratie binnen populaire raamwerken voor machinaal leren.
HiFi 5 is ook compatibel met de bibliotheek van bedrijven met bestaande audio- en spraakcodecs en softwarepakketten voor audioverbetering, geoptimaliseerd voor eerdere versies van het HiFi-productgamma van het bedrijf.