Zdroje sú dostatočné na rozpoznávanie hlasu na vzdialenom poli, kde je používateľ vzdialený od mikrofónu. Hlasovo ovládané digitálne domáce asistentky a automobilové infotainment sú určené na aplikácie.
Prečo spracovávať reč na lokálnej PCB?
„Algoritmy na rozpoznávanie reči založené na neurónovej sieti vykonávajú viac úloh lokálne, než v oblakoch, kvôli obavám z latencie, súkromia a dostupnosti siete,“ povedal Cadence.
Volaný HiFi 5má dvojnásobnú kapacitu spracovania zvuku a štvornásobok spracovania neurónovej siete (NN) staršieho HiFi 4 DSP.
„Naším cieľom je, aby bol lokálne dostupný veľký slovník, ktorý je schopný spracovávať prirodzený jazyk,“ povedal marketingový riaditeľ spoločnosti Cadence Gerard Andrews pre Electronics Weekly. „Preskúmali sme neurónové siete na rozpoznávanie reči a navrhli sme HiFi 5 na prevádzku týchto typov sietí.
Prvky spracovania zahŕňajú:
- Architektúra piatich veľmi dlhých inštrukcií (VLIW) - schopná vydávať dve 128-bitové zaťaženia na cyklus
- Multiplikátory DSP-akumulátorov:
Podpora pre 8 x 32 x 32bit MAC / cyklus alebo 16 16x16bit MAC / cyklus
Voliteľné osem jednoprofilových MAC s jednoduchou presnosťou na jeden cyklus - Akumulátory neurónových sieťových multiplikátorov:
32 16 × 8 MAC / cyklus alebo 16 × 4 MAC / cyklus
Voliteľné 16 poloprofilových MAC s plávajúcou desatinnou čiarkou na cyklus
DSP MAC, podľa Andrewsa, zahŕňajú napríklad podporu pre saturáciu, zatiaľ čo neurónové sieťové MAC sú optimalizované na násobenie vektorovej hodnoty maticou. „V toľkých neurónových sieťach môžete stráviť obrovské množstvo času vynásobením vektora maticou,“ povedal a dodal, že: výber toho, koľko MAC má zahrnúť, a aké typy údajov a dĺžka váh sa má podporovať, bolo na základe práce s zákazníkmi HiFi 4.
Matematika s plávajúcou čiarkou bola zapracovaná pre dva prípady použitia - jednoduchá presnosť pre vokálny front-end pre vytváranie lúčov a potlačenie ozveny a polovičná presnosť pre niektoré neurónové siete. "Plávajúce bod dáva rýchly čas na trh," povedal Andrews. „Napríklad, ak v MatLabe vytvoríte niečo s plávajúcou desatinnou čiarkou, konverzia na pevný bod je dosť časovo náročná.“
Multiplikátor podporuje 8bitové váhy, pretože „najväčším trendom je kvantifikovať až 8bitové váhy pre rozpoznávanie reči, čo nemusí byť príliš presné. Vidíte príspevky prezentované tam, kde sa ľudia snažia ísť na 4bits, “povedal Andrews. „Predpokladáme, že väčšina algoritmov využije náš 16x8bitový multiplikátor: 16 bitov pre dáta z mikrofónu a 8 bitov pre váhy.“
Pre ostatné váhové schémy je k dispozícii 4bitová, 2bitová a 1bitová operácia, ako aj 8bitová.
Ambiq Micro, výrobca mikrokontrolérov postavených na „sub-prahových“ silikónových procesoch na úsporu energie, bol prvým zákazníkom HiFi 5.
„Na splnenie mimoriadne náročnej úlohy prinášať výpočtovo náročné neurónové siete na báze širokopásmového spracovania a algoritmov rozpoznávania reči do energeticky citlivých zariadení sa Ambiq Micro rozhodol byť prvým silikónovým držiteľom licencie HiFi 5 DSP spoločnosti Cadence“, povedal Ambiq vp of marketing Aaron Grassian. „Prenos HiFi 5 DSP na sublimačnú platformu Ambiq Micro, ktorá je optimalizovaná pre výkon, umožňuje produktovým dizajnérom, ODM a výrobcom OEM, aby čo najviac využívali technológie od lídrov audio softvérov ako DSP Concepts a Sensory pridaním hlasového asistenta, velenia a riadenia a konverzačné používateľské rozhrania na prenosné mobilné produkty bez straty kvality alebo životnosti batérie. “
Na podporu duševného vlastníctva existuje knižnica optimalizovaných knižničných funkcií bežne používaných pri spracovaní neurónovej siete - najmä na spracovanie reči. Tieto funkcie sú zamerané na integráciu v rámci populárnych rámcov strojového učenia.
HiFi 5 je tiež kompatibilný s firemnou knižnicou existujúcich zvukových a hlasových kodekov a softvérovými balíkmi na vylepšenie zvuku, optimalizovanými pre staršie verzie produktového radu HiFi.