Ресурсов достаточно для распознавания голоса в дальней зоне, когда пользователь находится на расстоянии нескольких метров от микрофона. Цифровые домашние помощники с голосовым управлением и автомобильные информационно-развлекательные системы предназначены для применения.
Зачем обрабатывать речь на локальной печатной плате?
«Алгоритмы распознавания речи на основе нейронной сети выполняют больше задач локально, а не в облаке, из-за проблем с задержкой, конфиденциальностью и доступностью сети», - сказал Каденс.
Называется HiFi 5он имеет в два раза большую производительность обработки звука и в четыре раза больше обработки нейронной сети (NN) более раннего HiFi 4 DSP.
«Наша цель состоит в том, чтобы сделать большой словарный движок доступным на местном уровне, способный обрабатывать естественный язык», - сказал директор по маркетингу Cadence Джерард Эндрюс. «Мы исследовали нейронные сети с открытым исходным кодом для распознавания речи и разработали HiFi 5 для работы с этими типами сетей.
Элементы обработки включают в себя:
- 5-слотовая архитектура с очень длинным командным словом (VLIW), способная выдавать две 128-битные загрузки за цикл
- DSP множители-аккумуляторы:
Поддержка 8 32x32bit MAC / цикл или 16 16x16bit MAC / цикл
Опционально восемь MAC с плавающей точкой одинарной точности за цикл - Нейронные сети-множители аккумуляторов:
32 16 × 8 ПДК / цикл или 16 × 4 ПДК / цикл
Опционально 16 MAC с плавающей точкой половинной точности за цикл
MAC DSP, согласно Эндрюсу, включают, например, поддержку насыщения, в то время как MAC нейронной сети оптимизированы для умножения значения вектора на матрицу. «Во многих нейронных сетях вы тратите огромное количество времени на умножение вектора на матрицу», - сказал он, добавив, что: выбор количества MAC для включения, а также типов данных и весовых длин для поддержки был основано на работе с клиентами HiFi 4.
Математика с плавающей точкой была включена для двух вариантов использования - одинарная точность для голосового интерфейса для формирования луча и эхоподавления, а также половинная точность для некоторых нейронных сетей. «Плавающая точка позволяет быстро выйти на рынок», - сказал Эндрюс. «Например, если вы разрабатываете что-то с плавающей запятой в MatLab, преобразование этого в фиксированную точку отнимает много времени».
Множитель поддерживает 8-битные веса, потому что «большой тенденцией является квантизация до 8-битных весов для распознавания речи, что не требует слишком большого компромисса в точности. Вы видите документы, в которых люди пытаются спуститься на 4 бита », - сказал Эндрюс. «Мы ожидаем, что большинство алгоритмов будут использовать наш множитель 16x8 бит: 16 бит для данных с микрофона и 8 бит для весов».
Для других весовых схем доступны 4-битные, 2-битные и 1-битные операции, а также 8-битные.
Ambiq Micro, производитель микроконтроллеров, основанных на «подпороговых» кремниевых процессах для экономии энергии, был первым клиентом HiFi 5.
«Чтобы решить чрезвычайно сложную задачу по внедрению вычислительно-интенсивных алгоритмов обработки дальнего поля на основе нейронных сетей и алгоритмов распознавания речи для чувствительных к энергии устройств, Ambiq Micro выбрал стать первым кремниевым лицензиатом Cadence HiFi 5 DSP», - сказал Ambiq vp из отдела маркетинга. Аарон Грассиан. «Портирование DSP HiFi 5 на подпороговую платформу с оптимизированной мощностью Ambiq Micro позволяет разработчикам продуктов, ODM и OEM-производителям использовать все преимущества технологии от лидеров программного обеспечения аудио, таких как DSP Concepts и Sensory, добавляя интеграцию голосового помощника, управление и контроль, а также диалоговые интерфейсы для портативных, мобильных продуктов без ущерба для качества или времени автономной работы ».
Поддерживая интеллектуальную собственность, существует библиотека оптимизированных библиотечных функций, обычно используемых при обработке нейронных сетей - особенно для обработки речи. Эти функции предназначены для интеграции в популярные структуры машинного обучения.
HiFi 5 также совместим с библиотекой существующих аудио- и речевых кодеков и пакетами программ улучшения звука, оптимизированными для более ранних версий линейки продуктов HiFi фирмы.