Отладочная плата ESP32-LyraT для модулей ESP32-WROVER компании Espressif.
Голосовые интеллектуальные приложения

Введение

Рис. 1. Отладочная плата Espressif’s Audio Development Board ESP32-LyraT

Следуя политике универсализации предлагаемых решений, компания Espressif представляет отладочную плату ESP32-LyraT, предназначенную для разработки и отладки высокоинтегрированных аудиорешений на основе модуля ESP32-WROVER (Bluetooth+Wi-Fi), содержащего двухъядерный процессор и 4,5 Мбит оперативной памяти

У ESP32-LyraT (рис. 1) достаточно широкая область применения. Прежде всего, это многочисленные голосовые приложения: голосовое кодирование, декодирование и воспроизведение MP3-файлов и MP3-вещания, интеллектуальное голосовое управление, в том числе в решениях IoT и в домашних приложениях, реализация разнообразных периферийных расширений — большей частью в сфере инновационных решений по подключению динамиков («умные» динамики) и оборудованию концертных площадок. Кроме того, это возможность реализовать различные интеллектуальные отраслевые приложения — автоответчики, потоковое воспроизведение музыки с голосовым управлением, например получение и воспроизведение выбранного контента и/или интернет-радио, автоматизированные колл-центры, системы голосового вызова, системы с голосовой подсказкой (банкоматы, справочные, вендинговые и игровые автоматы) и многое другое.

Отладочный комплект ESP32-LyraT разработан таким образом, чтобы как можно более полно продемонстрировать функционал ESP32, направленный на реализацию разнообразных беспроводных аудиоприложений.

Вместе с отладкой ESP32-LyraT производитель предоставляет пользователям среду разработки Espressif ESP-ADF (Audio Development Framework) на Github с открытым исходным кодом и инструкции ESP-ADF (руководство по началу работы с официальной структурой разработки аудио для чипа ESP32). Все это представляет собой разработческую платформу, поддерживающую ADF Espressif Systems и включающую функцию активации (пробуждения) устройств по телефону, по голосовой команде, кнопку (ключ) пробуждения и аудиоплеер, а также доступ к облачным платформам, обеспечивающим распознавание голоса и локальное воспроизведение звука.

Для оборудования полнофункционального рабочего места разработчика и ускорения проектирования двухрежимных аудиорешений Bluetooth + Wi-Fi в комплект к отладочной плате ESP32-LyraT потребуется включить лишь несколько дополнительных периферийных устройств (прежде всего — ПК с установленной ОС).

Понадобится дополнительно:

• инструкцияESP32-LyraT V4.2 Getting Started Guide;
• 2×4-Ом динамика с проводами под разъем Dupont Speaker female jumper (мощность динамиков до 3 Вт) или наушники с разъемом 3,5 мм jack;
• соединительныйкабельMicro-USB 2.0 (Type A to Micro B);
• PC спредустановленнойОСWindows (Windows Operating System is recommended), Linux илиMac OS.

Словом, ESP32-LyraT — это плата для разработки аудиоприложений, построенная вокруг возможностей ESP32 и предоставляющая аппаратное обеспечение для обработки звука, конвертацию интерфейсов и дополнительную оперативную память сверх той, что уже имеется на плате модуля ESP32-WROVER. Также отладочная плата ESP32-LyraT может использоваться как самостоятельное устройство (то есть как серийная товарная единица, позволяющая создавать интеллектуальные акустические системы и приложения для «умного» дома).

Перед использованием среды разработки ESP-ADF, основанной на прикладном уровне ESP-IDF (рис. 10), необходимо установить Framework ESP-IDF (Espressif IoT Development Framework), а также более подробно ознакомиться с информацией, которая доступна в онлайн-документации. ESP-ADF выпускается под лицензией ESPRESSIF MIT.

Ключевые поддерживаемые функции и технические особенности отладочной платы ESP32-LyraT

• Функциональное ядро в виде Wi-Fi+BT+BLE-модуля ESP32-WROVER, созданного на базе чипа ESP32 и двухъядерной архитектуры микропроцессора Tensilica LX6, что позволило достичь высокой скорости работы вычислительных приложений при достаточно низком энергопотреблении, а также интегрировать поддержку до 32 Мбит SPI flash-памяти и до 32 Мбит памяти PSRAM для гибкого хранения данных.
• Поддержка воспроизведения и записи основных популярных протоколов передачи и воспроизведения цифрового аудио (с потерями и без), а также сжатых аудиоформатов, включая M4A, ALAC, AAC, FLAC, OGG, OPUS, MP3, WAV, AMR, SPEEX и т. д. Поддержка интернет-радио.
• Конфигурирование с использованием единого ключа и пробуждение из режима ожидания.
• Беспроводные протоколы Wi-Fi 802.11b/g/n, Classic BT и BLE.
• Стек протокола Wi-Fi теперь совместим со всеми маршрутизаторами на рынке.
• Поддержка режимов SoftAP и Station.
• Поддержка конфигураций сетевых протоколов BLE и медиасервисов интеллектуальных сетей, например DLNA, WeChat.
• Поддержка нескольких облачных платформ: Alexa, Google Assistant, DuerOS, Ximalaya FM, DeepBrain и других, позволяющих реализовывать функционал распознавания голоса и интеграцию с дочерними онлайн-сервисами.
• Воспроизведение музыки из источников HTTP, SDCARD, Bluetooth A2DP/HFP.
• Поддержка различных интерфейсов с высокой расширяемостью: сетевой интерфейс, Wi-Fi, Bluetooth, Bluetooth Low Energy, сенсорные кнопки, TFT-экран, интерфейс камеры, UART, USB и т. д.
• Разноформатные аудиовходы, включая Wi-Fi, BT-аудио, AirPlay, линейный вход и т. д.
• Два микрофона (Dual Microphone Pickup) для обеспечения корректного распознавания речи в ближней и дальней зонах.
• Для хранения предназначен слот для карты MicroSD.
• Реализация процедуры отладки — ядро JTGA, порт USB-UART.
• Разное — интерфейс расширения, сенсорные кнопки, кнопки функций/загрузки/перезагрузки, DIP-переключатель для конфигурирования.
• Питание — напряжение 5 В через порт micro USB; либо от аккумуляторной Li-ion-батареи через чип зарядного устройства.

Приложения

• Периферийные устройства сторонних разработчиков для расширения и дифференциации продукта.

Состав отладочной платы ESP32-LyraT и функциональное назначение основных узлов и компонентов

Упрощенная функциональная блок-схема отладочной платы ESP32-LyraT приведена на рис. 2. На ней представлены основные компонентыESP32-LyraTи показаны взаимосвязи между ними.

Рис. 2. Блок-схема отладочного комплекта ESP32-LyraT

На рис. 3 проиллюстрировано функциональное назначение узлов и элементов отладочной платы ESP32-LyraT.

Рис. 3. Функциональное назначение элементов отладочной платы ESP32-LyraT

Помимо мощного универсального модуля ESP32-WROVER, отладочная плата ESP32-LyraT содержит слот для подключения карты MicroSD (по умолчанию это MicroSD Card 4-wire), поддерживающий интерфейс SPI (либо его 1- и 4-бит режимы). На карте MicroSD могут храниться или непосредственно из нее воспроизводиться пользовательские аудиофайлы.

Если отладочная плата не подключена к сети, она по умолчанию поддерживает воспроизведение аудиофайлов, хранящихся на карте MicroSD.

Порядок подключения карты MicroSD к модулю ESP32-WROVER приведен в таблице 1.

Там же имеются интерфейсы JTAG, USB-UART (Integrated USB-UART Bridge Chip) и USB-источник питания(USB Power Port, обеспечивающий питание отладочной платы), а также аудиовход AUX_IN, представляющий собой вход в кодек ES8388 (Audio Codec Chip), и выход на головные телефоны (Headphone Output) со стандартным 3,5-мм стереоразъемом (он же выход кодека ES8388). Источник аудиосигнала не следует подключать на вход AUX в момент, когда плата ESP32-LyraT загружается после подачи питания. Это может вызвать некорректную загрузку рабочего ПО модуля ESP32-WROVER.

Разъем JTAG на плате ESP32-LyraT (рис. 3, 5) обеспечивает доступ к интерфейсу JTAG модуля ESP32-WROVER. Он может быть предназначен для отладки и загрузки приложений, а также для реализации других функций, например для поддержки Application Level Tracing. Перед применением сигналов JTAG следует установить DIP-переключатель в положение Function. Обратите внимание, что при работе с JTAG карта MicroSD не может использоваться и должна быть отключена, поскольку ряд сигналов JTAG задействован обоими устройствами.

Интерфейс USB-UART(Micro USB Port) (разъем J20 на отладочной плате — рис. 3, 5) имеет встроенный чип CP2102N-A01-GQFN28 (USB-UART Bridge Chip) и используется для преобразования USB в UART (и обратно), поддерживая передачу последовательного TX/RX-сигнала между модулем ESP32-WROVER и подключаемым к ПК входом USB-UART Bridge Chip, тем самым обеспечивая обмен сигналов модуля по UART со скоростью до 1 Мбит/с. Может служить резервным источником питания платы.

Рис. 4. DIP-переключатель

DIP-переключатель на рис. 4 и на принципиальной схеме отладочной платы обозначен как J18.

Существует несколько вариантов изменения аппаратной конфигурации платы ESP32-LyraT. Эти опции можно выбрать с помощью DIP-переключателя, который применяется для аппаратной перенастройки функций портов GPIO12 и GPIO13 модуля ESP32-WROVER. Порты GPIO12 и GPIO13 используются устройствами JTAG Headerand и MicroSD Card совместно. По умолчанию карта MicroSD включена, при этом все переключатели находятся в положении OFF. Чтобы включить JTAG Headerinstead (разъем J19 на плате отладки), переключатели № 3–6 должны быть переведены в положение ON (табл. 2). Если JTAG не используется, а карта MicroSD работает в однолинейном режиме, GPIO12 и GPIO13 могут быть переназначены под реализацию других функций (табл. 3, 4).

Рис. 5. Распиновка разъемов JTAG и UART на плате ESP32-LyraT

Более подробная информация представлена в документе ESP32 LyraT V4.2 schematic.

К примеру, когда карта MicroSD работает в однолинейном режиме, можно использовать GPIO13 в качестве обработчика сенсорной функции. Но если карта MicroSD действует в четырехлинейном режиме, нельзя применять выход GPIO13 в качестве Touch Function, поскольку в этом случае он реализует сигнал DATA3. Когда карта MicroSD функционирует в режиме SPI, мы также не можем обращаться к выходу GPIO13 в качестве функции Touch Function, поскольку тогда он используется как источник сигнала CS.

В этом режиме (табл. 2):

• Функционал карты MicroSD недоступен, извлеките карту из гнезда.
• Кнопка Vol Touch недоступна для использования с API.
• Обнаружение из API подключения устройств на вход AUX недоступно.

В однолинейном режиме карты MicroSD (табл. 3):

• Функционал JTAG недоступен.
• Кнопка Vol Touch доступна для использования с API.
• Обнаружение из API подключения устройств на вход AUX недоступно.

Обнаружение устройств на входе AUX может быть активировано переключением 7-го переключателя в сборке DIPSW в положение ON.

В этом режиме (табл. 4):

• Функционал JTAG недоступен.
• Кнопка Volt Touch недоступна для использования с API.
• Обнаружение из API подключения устройств на вход AUX недоступно.

Рис. 6. Распиновка разъемов I2C и I2S на плате ESP32-LyraT

Разъем J22 обеспечивает доступ к интерфейсу I²C (рис. 6, 7). К этому интерфейсу подключены и модуль ESP32-WROVER, и кодек Audio Codec Chip (см. принципиальную схему отладочной платы в документе ESP32 LyraT V4.3 schematic).

Рис. 7. Принципиальная схема аудиокодека отладочного комплекта ESP32-LyraT

Разъем J21 обеспечивает доступ к интерфейсу I²S (рис. 6, 9). Модуль ESP32-WROVER и кодек Audio Codec Chip подключены к этому интерфейсу.

Встроенные микрофоны отладочной платы разделяются на левый и правый. Левый (Left Microphone) подключен к входу L_IN1 — пин № 24 кодека ES8388 (Audio Codec Chip), правый (Right Microphone) — к входу R_IN1 (пин № 23).

Примечание.При использовании микрофонов держите дистанцию более 20 см от них. После нажатия кнопки включения микрофонов подождите около 0,5 с, прежде чем говорить.

Там же размещены разъемы для подключения двух динамиков L_OUT1 (Left Speaker Output) и R_OUT1(Right Speaker Output). Штыри разъемов имеют стандартный шаг 2,54 мм/0,1 дюйма.

PA Chip — микросхема усилителя мощности. Используется для усиления стереозвука с выхода кодека до уровня, обеспечивающего работу двух 4-Ом внешних динамиков, подключаемых к выходным аудиоинтерфейсам отладочной платы.

Рис. 8. Порядок следования и назначение пинов модуля ESP32-WROWER

Audio Codec Chip — это малопотребляющий стереофонический аудиокодек со встроенным усилителем для головных телефонов (рис. 7). Состоит из двухканального АЦП, двухканального ЦАП, микрофонного усилителя, усилителя для наушников, субмодуля цифровых звуковых эффектов, аналоговых смесителей и усилителей. Сопряжен с модулем ESP32-WROVER по шинам I²C и I²S для обеспечения аппаратной обработки звука независимо от реализуемого аудиоприложения.

Рис. 9. Порядок следования и назначение пинов модуля ESP32-WROOM-32

Вход AUX(AUX Input)— дополнительное гнездо (stereo jack 3,5 мм), подключенное ко входу IN2 аудиокодека Audio Codec Chip (левый и правый каналы). Для подключения к этому гнезду используйте стереоразъем.

На панели отладочной платы доступны четыре сенсорные кнопки: Play, Set, Vol+ и Vol–, соединенные с закрепленными за ними портами IO модуля ESP32-WROVER (табл. 5).

При нажатии на кнопку Play начнется воспроизведение аудиофайлов, хранящихся в MicroSD Card.

Нажмите и удерживайте нажатыми кнопки Vol– или Vol+ для воспроизведения предыдущего или последующего звукового файла, соответственно.

Для того чтобы отрегулировать громкость звука, кратковременно коснитесь кнопки Vol– или Vol+ (для уменьшения или увеличения уровня воспроизведения соответственно). Повторяйте эту операцию, пока не получите желаемый уровень громкости.

Но основное назначение кнопок Play, Set, Vol+ и Vol– — использование их в процессе разработки и тестирования пользовательских аудиоприложений и отладка их интерфейса с помощью специализированного API.

Кнопка Vol– недоступна, если используется JTAG или карта MicroSD работает в 4-проводном режиме.

Две кнопки Rec и Mode подключены непосредственно к модулю ESP32-WROVER и предназначены для разработки и тестирования пользовательского интерфейса при создании аудиоприложений с помощью специализированного API.

По умолчанию в качестве основного устройства на отладочной плате ESP32-LyraT устанавливается модуль ESP32-WROWER (функциональная привязка распиновки на рис. 8),тем не менее его высокая попиновая совместимость с другими модулями производителя позволила предусмотреть установку на этой же плате и альтернативного модуля —ESP32-WROOM-32.

Кнопки Boot/Reset (загрузка/сброс)

Нажатие кнопки Boot и одновременное кратковременное нажатие кнопки Reset приводит к запуску режима загрузки новой прошивки модуля через его последовательный порт. Самостоятельное нажатие кнопки Reset сбрасывает систему.

На плате ESP32-LyraT, вблизи модуля ESP32-WROWER, размещены два индикаторных светодиода общего назначения (Green LED— подключен к GPIO19 и Red LED— подключен к GPIO22 модуля ESP32-WROWER), управляемых самим модулем и предназначенных для отображения состояний работы аудиоприложений с использованием специального API.

В отдельных режимах работы модуля ESP32-WROVER пиковые значения потребляемого им тока достаточно высоки, поэтому интерфейс USB-питания должен подключаться к источнику питания с нагрузочной способностью не менее 500 мА.

Линейное зарядное устройство постоянного тока и постоянного напряжения Battery ChargerChip предназначено для зарядки подключенного к специализированному двухпиновому разъему одноядерного литиево-ионного аккумулятора AP5056. Напряжение к зарядному устройству подается через USB Power Port (гнездо Micro USB Port).

Выключатель питанияPower On Switch. Плата включается при его переключении влево, при этом светодиодный индикатор Power On LED загорается красным светом, показывая, что заряжается аккумулятор, подключенный к аккумуляторной розетке. Расположенный рядом зеленый светодиод Standby LED («состояние ожидания») демонстрирует, что на порт Micro USB подается питание и отладочная плата к работе готова. Положение выключателя питания на зарядку литий-ионного аккумулятора не влияет.

Аппаратная часть ESP32-LyraT в настоящее время соответствует версии V4.3.

Разработческая платформа ESP-ADF

В ближайшей перспективе платформа ESP-ADF будет наиболее полным образом поддерживать разработку аудиоприложений для чипа ESP32 и реализованных на его основе модулей. Большая часть заявленного функционала и возможностей платформы ESP-ADF уже поддерживается, часть находится в стадии реализации. Ситуация с проработанностью имеющихся приложений и появлением новых меняется буквально еженедельно. При этом в процессах совершенствования платформы и накопления практического опыта реализации самых различных решений и приложений участвуют не только специалисты компании Espressif, но и десятки тысяч разработчиков и энтузиастов многих стран. Соответствующий форум поддерживается непосредственно на сайте производителя.

Функционал ESP-ADF ориентирован не только и не столько на решение узких утилитарных задач, но и на осуществление сложных интеллектуальных приложений, использующих возможности и ресурсы облачных сервисов. В свете сказанного дальнейшее развитие платформы ESP-ADF может быть проиллюстрировано приведенной на рис. 10 иерархической структурой.

Рис. 10. Структура разработческой платформы Espressif ESP-ADF (Audio Development Framework)

Как видно из приведенной диаграммы, в настоящее время платформа ESP-ADF поддерживает Baidu DuerOS, WAV и MP3-аудио и аудиоинтерфейс ESP. Компания продолжает работу над функционалом ESP-ADF, планируя добавить большее количество облачных сервисов (Deep Brain, Amazon Alexa, Assistant, Alibaba…), поддержку традиционных профилей Bluetooth, поддержку DLNA, а также других протоколов и аудиокодеков.

Уже сегодня с помощью ESP-ADF можно легко добавлять в проектируемые устройства самые различные функции, создавать аудиоприложения для чипа ESP32 и выполненных на его основе модулей, от довольно простых до самых сложных, предназначенных для таких задач, как:

• реализация музыкального проигрывателя или устройства записи MP3, AAC, WAV, OGG, AMR, SPEEX и других аудиоформатов;
• воспроизведение музыки из сети (HTTP), памяти (SD-карта), Bluetooth A2DP/HFP;
• голосовое управление освещением, бытовой техникой и работой аудиоприложений.

Пример реализации голосового управления освещением

Аналогичным образом могут быть реализованы системы голосового управления любыми другими устройствами, бытовой и офисной техникой, воспроизведением голосового контента и т. д. (рис. 11).

Рис. 11. Пример реализации функционала голосового управления освещением

Не секрет, что такие компании, как Amazon, Walmart, Alibaba и российская «Газпром нефть», приступили к созданию собственных роботизированных логистических цепочек и строят «умные» склады. К примеру, логистическая складская программа, позволяющая в режиме голосового диалога реализовывать размещение товара и оперативный его подбор по поступающим заявкам, уже сегодня становится вполне доступным решением.

Ключевые отличия ESP-LyraT V4.3 от ESP-LyraT V4.2

В настоящий момент актуальная версия отладочной платы ESP32-LyraT — V4.3. Рассмотрим ее отличия от ESP-LyraT V4.2.

С отладочной платы убрали красный светодиодный индикатор.

Введено обнаружение подключения внешнего устройства к гнезду головных телефонов.

Заменен одиночный чип усилителя мощности (PA) двумя отдельными чипами (введено полное канальное разделение аудиотракта на прием, усилители мощности теперь стали независимы, что в большей степени отвечает задачам моделирования и реализации высококачественных систем воспроизведения звукового контента). Кроме того, эти изменения позволили улучшить стартовые условия для разработки интеллектуальных динамиков и интеллектуальных голосовых приложений (AI) за счет реализации более современной системы подавления акустического эха (AEC), возросшей корректности работы базирующейся на использовании облачных сервисов системы автоматического распознавания речи (ASR), а также улучшить настройку порогов срабатывания прерываний во время пробуждения разрабатываемых устройств и при голосовом взаимодействии с ними.

Также обновлена схемотехника управления питанием нескольких узлов отладочной платы: драйвера зарядки аккумулятора, модуля ESP32-WROVER, карты MicorSD, чипов Codec и PA.

За счет применения современных методов проектирования улучшены дизайн печатной платы и схемное решение цепей UART, чипа Codec, левого и правого микрофонов, входа AUX, выхода головных телефонов, цепей питания и сигнальной части карты MicroSD, кнопки Push и цепей автоматической загрузки.

Подготовка к разработке приложений

Перед включением отладочной платы ESP32-LyraT убедитесь, что она получена в хорошем состоянии, без видимых признаков повреждения.

Инициализация

Подготовка платы для загрузки первого приложения

1. Установите перемычки на заголовки IO0 и EN, чтобы включить автоматическую загрузку приложений (актуально для первых аппаратных версий отладочной платы). Если в вашей модификации отладочной платы этих перемычек нет, загрузка может быть запущена с помощью кнопок Boot/RST.
2. Подключите 4-Ом динамики к выходам усилителя правого и левого аудиоканалов (Right и Left Speaker Output). Подключите головные телефоны (наушники) к выходу Headphone Output.
3. Подключите кабель Micro-USB к ПК и к порту Micro USB Port отладочной платы ESP32-LyraT.
4. Должен загореться зеленый светодиод Standby LED. В случае если аккумулятор не подключен к отладочной плате, индикатор его зарядки Charging LED будет мигать каждые 2 с.
5. Переведите выключатель питанияPower On Switch в левое положение.
6. Индикатор наличия питания Power On LED загорится красным цветом.

Если свечение светодиодов соответствует описанному, то плата готова к загрузке приложения. Теперь подготовьте ПК, загрузив и настроив средства разработки, как описано ниже.

Особенности подготовки и использования программного обеспечения и приложений

1. Замена прошивки. Для замены прошивки модуля, установленного на отладочной плате, на отладочном ПК загрузите программу Flash Download Tool.
2. Создание приложений для сетевых устройств. Чтобы использовать возможности функционала SmartConfig и настроить собственную сеть ESP32-LyraT, предварительно скачайте приложения IOT Espressif для Android APK или ESP-TOUCH для iOS IPA из Сборника приложений Espressif на сайте производителя.
3. Отладка приложений. Используйте отладочный инструментарий, наилучшим образом подходящий для выбранной вами среды разработки, например Xshell или SSCOM и т. д.

Разработка приложений

После первоначальной настройки и проверки отладочной платы ESP32-LyraT можно приступать к подготовке инструментов разработки. Для этого перейдите в раздел: doc:`index`, в котором пройдите следующие шаги:

• :ref:`get-started-setup-esp-idf` — первый шаг обеспечивает общую структуру для разработки приложений для ESP32 на языке C на вашем ПК;
• :ref:`get-started-get-esp-adf` — шаг активации спецификаций API для аудиоприложений;
• :ref:`get-started-setup-path` — активация фреймворка на поддержку аудиоспецификаций API;
• :ref:`get-started-start-project` — выбор образца аудиоприложения для платы ESP32-LyraT;
• :ref:`get-started-connect-configure` — подготовка аудиоприложения к загрузке;
• :ref:`get-started-build-flash-monitor` — финальный шаг. Запуск аудиоприложения (например, воспроизведение музыки).

Заключение

С помощью отладочной платы ESP32-LyraT можно работать над комплексными решениями на основе модуля ESP32-WROOM и чипов ESP32, поддерживающих как стандартный для Wi-Fi-модулей клиентский функционал, так и работу различных аудиоприложений.

Мультифункциональность и открытость архитектуры современных беспроводных чипов и модулей — свершившийся факт. Именно это обстоятельство еще на этапе разработки аппаратной части помогает закладывать в выпускаемый продукт значительный потенциал развития на перспективу, позволяя совершенствовать и расширять поддерживаемый функционал и возможности сопряжения разрабатываемых устройств и в процессе их серийного производства. Появление у линейки популярных модулей, выпускаемых на основе чипа ESP32, принципиально новых отладочных средств, таких как отладочная плата ESP32-LyraT, ориентированная на разработку самых разнообразных интеллектуальных аудиоприложений, вплоть до систем с голосовым управлением, — яркое подтверждение этого тезиса. Революция в IoT-секторе меняет мир на наших глазах.