Яндекс представил ультрамалую нейросеть для носимых ИИ-устройств

Размер модели удалось сократить без потери качества примерно до 200 КБ.

Яндекс представил ультрамалую нейросеть для голосового управления в носимых ИИ-гаджетах. Размер модели удалось сжать до примерно 200 КБ без ущерба для качества, рассказал Дмитрий Солодуха, возглавляющий направление голосовой активации в компании.

Специфика носимых устройств требует особого подхода: в отличие от колонок или смартфонов, гаджеты ограничены в памяти, мощности процессора и ёмкости аккумулятора. При этом система должна постоянно и локально анализировать аудиопоток, не расходуя заряд устройства.

Для решения этой задачи Яндекс реализовал многоуровневую систему — от аппаратного обеспечения до архитектуры нейросети:

• Двухэтапная обработка: Сначала работает сверхлегкая модель, которая лишь фиксирует наличие речи. Основная модель включается только после обнаружения голоса для проверки ключевой команды. Это минимизирует нагрузку на систему.

• Оптимизация нейросети: Чтобы продлить жизнь аккумулятору, инженеры сократили количество параметров модели примерно в 10 раз. Новая компактная архитектура требует меньше вычислений, сохраняя точность распознавания. Это позволяет обрабатывать команды локально, не отправляя аудио в облако, что снижает задержки и потребление энергии.

• Аппаратное ускорение: Для эффективной работы используются чипы с NPU (нейропроцессорами), которые выполняют вычисления быстрее и экономнее, чем стандартные CPU.

Зарегистрировавшимся в рекламной экосистеме Vitamin.tools мы расскажем, как получать максимум из рекламы через Яндекс Директ. Пополнять рекламные кабинеты можно через наш сервис.