Az erőforrások elegendőek a távoli hangfelismeréshez, ahol a felhasználó méterre van a mikrofontól. A hangvezérelt digitális otthoni asszisztensek és az autóipar információs és szórakoztató rendszere a tervezett alkalmazások.
Miért kell feldolgozni a beszédet a helyi PCB-n?
„A neurális hálózaton alapuló beszédfelismerő algoritmusok több feladatot végeznek helyben, nem pedig a felhőben, a késleltetés, a magánélet és a hálózat elérhetősége miatt” - mondta Cadence.
Hívásnak nevezték, kétszerese a hangfeldolgozó kapacitásnak és négyszerese a korábbi HiFi 4 DSP neurális hálózati (NN) feldolgozásának.
„Célunk, hogy egy nagy szókincsmotort hozzunk létre, amely képes a természetes nyelvet feldolgozni” - mondta Cadence marketingigazgató, Gerard Andrews az Electronics Weekly-nek. „Megvizsgáltuk a nyílt forráskódú beszédfelismerő neurális hálózatokat, és a HiFi 5-et úgy terveztük, hogy futtassa az ilyen típusú hálózatokat.
A feldolgozási elemek a következők:
- Öt nagyon hosszú utasításszót (VLIW) -szaletta-architektúra, amely képes egy ciklusonként két 128 bites terhelés kibocsátására
- DSP multiplikátor-akkumulátorok:
8 32x32bit MAC / ciklus vagy 16 16x16bit MAC / ciklus támogatása
Választható nyolc egypontos lebegőpontos MAC-t ciklusonként - Neurális hálózati szorzó akkumulátorok:
32 16 × 8 MAC / ciklus vagy 16 × 4 MAC / ciklus
Választható 16 félpontos lebegőpontos MAC-t ciklusonként
Andrews szerint a DSP MAC-ek közé tartozik például a telítettség támogatása, míg a neurális hálózati MAC-ek optimalizálva vannak, hogy a vektor értéket mátrixgal megszorozzuk. „Olyan sok idegrendszeri hálózaton végül hatalmas mennyiségű időt tölt a mátrix szorzójával” - mondta, hozzátéve, hogy: a választandó MAC-ek száma és a támogatandó adattípusok és súlyhossz a HiFi 4 ügyfelekkel végzett munka alapján.
A lebegőpontos matematikákat két felhasználási esetre építették be - egyetlen pontosságot a hangsugárzás előtti végéhez a sugáralakításhoz és a visszhang-visszavonáshoz, valamint a fél pontosságot egyes neurális hálózatokhoz. - A lebegőpont gyors időt biztosít a piacra - mondta Andrews. „Például, ha valami úszópontot alakít ki a MatLab-ban, akkor a rögzített pontra történő átalakítása elég időigényes.”
A szorzó 8 bites súlyt támogat, mert „a nagy tendencia az, hogy a beszédfelismerés során 8 bites súlyokat vessünk le, ami nem kell túl sok pontossággal kereskedni. Látod, hogy a papírok bemutatásra kerültek, ahol az emberek 4 bitesre akarnak menni, ”mondta Andrews. „Elvárjuk, hogy a legtöbb algoritmus kihasználja a 16x8 bites szorzónkat: 16 bites a mikrofon adatait és 8bits a súlyokat.”
Más súlyozási sémák esetén 4bit, 2bit és 1bit művelet érhető el, valamint 8bit.
Az Ambiq Micro, az „al-küszöbértékű” szilícium folyamatokra épülő mikrokontrollerek gyártója az energia megtakarítása érdekében az első HiFi 5 ügyfél volt.
„Ahhoz, hogy az Ambiq Micro a Cadence HiFi 5 DSP első szilícium-engedélyesje legyen, számítástechnikai intenzív neurális hálózati távoli feldolgozási és beszédfelismerő algoritmusok energiahatékony eszközökhöz való eljuttatásának kihívásainak való megfelelés érdekében mondta Ambiq vp. Aaron Grassian. „A HiFi 5 DSP áthelyezése az Ambiq Micro alsó küszöbértékű energiaoptimalizált platformjába lehetővé teszi a terméktervezőknek, az ODM-eknek és az OEM-eknek, hogy a hang-asszisztens integrációjával, irányításával és vezérlésével az audio szoftvervezetők, mint a DSP Concepts és Sensory előnyeit kihasználják. beszélgető UI-k a hordozható, mobil termékekhez, anélkül, hogy feláldoznák a minőséget vagy az akkumulátor élettartamát. ”
A szellemi tulajdont támogatva a neurális hálózatok feldolgozásánál általánosan használt optimalizált könyvtárfunkciók könyvtára található, különösen a beszédfeldolgozáshoz. Ezek a funkciók a népszerű gépi tanulási keretekbe való integrációra irányulnak.
A HiFi 5 kompatibilis a meglévő audio- és hangkódek, valamint az audió bővítő szoftvercsomagok cégkönyvtárával is, amely a vállalat HiFi termékcsaládjának korábbi verzióira optimalizált.