選擇您的國家或地區

EnglishFrançaispolskiSlovenija한국의DeutschSvenskaSlovenskáMagyarországItaliaहिंदीрусскийTiếng ViệtSuomiespañolKongeriketPortuguêsภาษาไทยБългарски езикromânescČeštinaGaeilgeעִבְרִיתالعربيةPilipinoDanskMelayuIndonesiaHrvatskaفارسیNederland繁体中文Türk diliΕλλάδαRepublika e ShqipërisëአማርኛAzərbaycanEesti VabariikEuskera‎БеларусьíslenskaBosnaAfrikaansIsiXhosaisiZuluCambodiaსაქართველოҚазақшаAyitiHausaКыргыз тилиGalegoCatalàCorsaKurdîLatviešuພາສາລາວlietuviųLëtzebuergeschmalaɡasʲМакедонскиMaoriМонголулсবাংলা ভাষারမြန်မာनेपालीپښتوChicheŵaCрпскиSesothoසිංහලKiswahiliТоҷикӣاردوУкраїнаO'zbekગુજરાતીಕನ್ನಡkannaḍaதமிழ் மொழி

針對SoC處理複雜語音的神經網絡IP

Cadence_Tensilica_HiFi5_DSP_block-925

資源足以用於遠場語音識別,其中用戶距離麥克風幾米。語音控制的數字家庭助理和汽車信息娛樂是預期的應用。

為什麼要在本地PCB上處理語音?

“由於對延遲,隱私和網絡可用性的擔憂,基於神經網絡的語音識別算法在本地執行更多任務,而不是在雲中執行,”Cadence說。


被稱為HiFi 5,它具有兩倍的音頻處理能力和早期HiFi 4 DSP的神經網絡(NN)處理的四倍。

“我們的目標是在當地製作一個能夠處理自然語言的大型詞彙引擎,”Cadence營銷總監Gerard Andrews告訴Electronics Weekly。 “我們調查了開源語音識別神經網絡,我們設計了HiFi 5來運行這些類型的網絡。

處理要素包括:

  • 五個超長指令字(VLIW)-slot架構,每個週期能夠發出兩個128位負載
  • DSP乘法器 - 累加器:
    支持8個32x32bit MAC /週期或16個16x16bit MAC /週期
    每個週期可選8個單精度浮點MAC
  • 神經網絡乘法累加器:
    32 16×8 MAC /週期或16×4 MAC /週期
    每個週期可選16個半精度浮點MAC

根據安德魯斯的說法,DSP MAC包括,例如,支持飽和,而神經網絡MAC被優化用於將矢量值乘以矩陣。 “在如此眾多的神經網絡中,你最終會花費大量時間將矢量乘以矩陣,”他說,並補充說:要包括多少MAC的選擇,以及支持的數據類型和重量長度是基於與HiFi 4客戶的合作。

浮點數學已經包含在兩個用例中 - 用於波束形成和迴聲消除的聲音前端的單精度,以及用於某些神經網絡的半精度。 “浮點數可以快速推向市場,”安德魯斯說。 “例如,如果你在MatLab中開發一些浮點數,將其轉換為定點是非常耗時的。”

乘法器支持8位權重,因為“最大的趨勢是量化低至8位權重的語音識別,這不需要在準確性上進行過多的權衡。你確實看到人們試圖降到4比特的論文,“安德魯斯說。 “我們預計大多數算法都會利用我們的16x8bit乘法器:麥克風數據為16位,權重為8位。”

Cadence_Tensilica_HiFi5_DSP_overview-617

對於其他加權方案,可提供4位,2位和1位操作以及8位。

Ambiq Micro是基於“亞閾值”矽工藝構建的微控制器生產商,以節省電力,是HiFi 5的第一個客戶。

“為了應對將計算密集型基於神經網絡的遠場處理和語音識別算法引入能量敏感設備的極其困難的挑戰,Ambiq Micro選擇成為Cadence HiFi 5 DSP的第一個矽授權商”,Ambiq vp表示營銷亞倫格拉西安。 “將HiFi 5 DSP移植到Ambiq Micro的亞閾值功率優化平台,使產品設計人員,ODM和OEM能夠通過添加語音助手集成,命令和控制等功能,從DSP Concepts和Sensory等音頻軟件領導者那裡獲得最大的技術優勢。便攜式移動產品的會話用戶界面,不會犧牲質量或電池壽命。“

支持知識產權,有一個優化的庫函數庫,通常用於神經網絡處理 - 特別是用於語音處理。這些功能旨在集成在流行的機器學習框架中。

HiFi 5還兼容現有音頻和語音編解碼器的公司庫,以及針對該公司HiFi產品系列早期版本進行優化的音頻增強軟件包。