本篇文章主要介紹基于聆思CSK6大模型開(kāi)發(fā)板的語(yǔ)音交互多模態(tài)實(shí)例進(jìn)行二次開(kāi)發(fā)，實(shí)現(xiàn)在語(yǔ)音喚醒后在屏幕展示GIF動(dòng)畫(huà)表情。

● 通過(guò)LGVL官網(wǎng)的工具將GIF轉(zhuǎn)換為適合嵌入式系統(tǒng)使用的格式

● 基于SDK源代碼進(jìn)行修改

● 開(kāi)發(fā)板編譯與燒錄

在開(kāi)始實(shí)操之前，我們部署開(kāi)發(fā)環(huán)境以及SDK工程拉取到本地目錄，可以參考聆思文檔中心環(huán)境搭建 | 聆思文檔中心與獲取大模型套件SDK | 聆思文檔中心。

SDK下載完成后，通過(guò)VScode打開(kāi)audio_recognition_online示例模板 （D:\LISTENAI\duomotai_ap\apps\audio_recognition_online）根據(jù)自己的SDK保存路徑打開(kāi)

打開(kāi)src\app_ui\demo_ui\images\ui_img_anim_speak_gif_c

這里原示例中是語(yǔ)音喚醒之后加載語(yǔ)音喚醒“小聆”之后用來(lái)模擬聲音的波浪型gif動(dòng)畫(huà)，如果我們想要它加載其他GIF動(dòng)畫(huà)，例如“會(huì)動(dòng)的眼睛”，只需要將你想要替換的GIF動(dòng)畫(huà)的格式在LVGL官網(wǎng)轉(zhuǎn)換為C語(yǔ)言數(shù)組，然后將這部分替換即可。（這里的使用的GIF分辨率為96×36）

打開(kāi)LVGL官網(wǎng)(Image Converter — LVGL)，

（我這里是翻譯了****，若網(wǎng)頁(yè)為英文版，按照順序點(diǎn)擊即可）點(diǎn)擊低電壓保護(hù)器v8，選擇你想要轉(zhuǎn)換的GIF，選擇顏色格式。這里demo中支持的GIF顏色格式為CF_RAW_CHROMA

轉(zhuǎn)變之后打開(kāi)下載的c文件，復(fù)制全部代碼粘貼到audio_recognition_online\src\app_ui\demo_ui\images\ui_img_anim_speak_gif_c路徑下，粘貼之后需要檢查以下三個(gè)地方：

這里我們示例模板中的GIF儲(chǔ)存名稱(chēng)為ui_img_anim_speak_gif ,所以要將代碼中名稱(chēng)的部分與GIF.C文件名稱(chēng)統(tǒng)一?？梢灾苯訌?fù)制替換對(duì)應(yīng)位置即可

#ifndef LV_ATTRIBUTE_IMG_ANIM_SPEAK

#define LV_ATTRIBUTE_IMG_ANIM_SPEAK

#endif

const LV_ATTRIBUTE_MEM_ALIGN LV_ATTRIBUTE_LARGE_CONST LV_ATTRIBUTE_IMG_ANIM_SPEAK uint8_t anim_speak_map[] = {

const lv_img_dsc_t ui_img_anim_speak_gif= {

  .header.cf = LV_IMG_CF_RAW_CHROMA_KEYED,

  .header.always_zero = 0,

  .header.reserved = 0,

  .header.w = 96,

  .header.h = 36,

  .data_size = 6028,

  .data = anim_speak_map,

};

本文使用的聆思CSK6大模型開(kāi)發(fā)板，詳細(xì)信息可參考線上文檔https://docs2.listenai.com/x/nTn9kMMCU

1、  打開(kāi) windows powershell/cmd

2、在LISTENAI\duomotai_ap路徑下輸入，開(kāi)始編譯固件

lisa zep build -b csk6_duomotai_devkit apps\audio_recognition_online -p

3、固件編譯成功之后，輸入進(jìn)行燒錄

lisa zep exec cskburn -s \\.\COM串口號(hào) -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin