所謂“模態(tài)”,英文是modality,用通俗的話說,就是“感官”,多模態(tài)即將多種感官融合。
目前的人機智能交互比如語言控制不如屏幕控制那么精準,很多時候會誤判指令和錯誤喚醒,比較語言充滿了不確定性;再比如,語音交互的物聯(lián)網(wǎng)設備還是缺乏主動服務的能力,只是換了操作方式而已,用戶體驗沒有本質提升。
假如我們把“模態(tài)”通俗地理解為感官,那么智能音箱就是只具備聽覺模態(tài)的物聯(lián)網(wǎng)設備,而加載AI分析能力的攝像頭可以視為視覺模態(tài)的物聯(lián)網(wǎng)設備。把聽覺、視覺甚至更多模態(tài)組合到一起,多模態(tài)物聯(lián)網(wǎng)也就誕生了。
目前的AI設備中感知模態(tài)主要包括三種。第1種是、語音交互,包括語音指令控制、語義理解、多輪對話、NLP、語音精準識別等領域;第2種叫做機器視覺,包括自然物體識別、人臉識別、肢體動作識別等;第3種則是傳感器智能,包括AI對熱量、紅外捕捉信號、空間信號的閱讀與理解。
把這三種東西融合在一起,物聯(lián)網(wǎng)設備就可以在單純的能聽會說之外,同時還用攝像頭觀察、用傳感器判斷。而比較前沿的多模態(tài)感知還包括機器嗅覺,機器觸覺和情緒理解等內容,但目前還沒有落地產品。
目前多模態(tài)交互的主要應用場景:
場景一:多模態(tài)AI交互技術投射在物聯(lián)網(wǎng)設備上,大概就是用機器視覺技術進行嘴唇識別,來分離語音交互指令。嘗試通過用機器視覺來讀取說話人的唇語和動作,來判斷每個聲音指令的來源。
場景二:多模態(tài)空調。在一些新的智能空調解決方案中,空調會在語音交互的基礎上通過機器視覺來判斷用戶的位置,提供智能送冷,并且會結合傳感器判斷屋內溫度和濕度,提供更精準的環(huán)境方案。
場景三:多模態(tài)電視。今年電視背后的AI平臺戰(zhàn)打得風生水起,把機器視覺技術引入電視成為了新的趨勢。通過機器視覺來讓電視觀察屋內照明情況、用戶與電視的距離,電視可以主動調節(jié)屏幕光線強度,輸出比較護眼的模式。還有的AI應用是讓電視在觀察到兒童看電視后主動開啟童鎖。
據(jù)媒體報道, 2019年年底國產芯片核心玩家炬芯科技隆重舉辦了TechLife開發(fā)者大會,以“多模態(tài)交互技術”為主題,在人工智能的大背景下探討多模態(tài)交互技術的落地和發(fā)展,同時還邀請了阿里達摩院、喜馬拉雅、玩瞳科技、CEVA 等多位技術大咖,共同探討行業(yè)前沿技術,現(xiàn)場人氣爆棚,可見炬芯科技對未來趨勢有著獨特的預見性,這也是多年來行業(yè)領先致勝競品的重要原因之一。
人機交互正在從鍵盤鼠標的交互轉變成語音視覺等多模態(tài)交互。交互門檻的不斷降低,給交互體驗帶來了明顯提升。
為實現(xiàn)更優(yōu)質交互體驗,炬芯作為一家芯片設計廠商的也在持續(xù)深耕技術,希望用更優(yōu)質產品給智能機器賦能。炬芯推出 ATS 3607、 ATS 3607D、 ATS 3609、 ATS 3609D 四款多模態(tài)智能交互芯片,充足的算力、超低的功耗、強大的可擴展性,將賦予機器更多的可能性。
其中,炬芯 ATS 3609D,多麥智能語音、輕智能圖像、雙模態(tài)識別手指輸入解決方案。將語音交互、機器視覺和傳感器三個模態(tài)綜合,為強人工智能下的多模態(tài)交互提供可行解決方案。
AI 多模態(tài)交互技術已經成為人工智能交互的必然趨勢,我們也期待著炬芯多模態(tài)交互芯片平臺能在更多的場景中應用開來,賦予機器更強的智能屬性,用更加像人的智能機器給大家?guī)砀玫姆铡?/p>
- 曹操出行闖關港交所:出行巨頭曹操李書福再添資本新翼
- 張朝陽痛失珍藏:后悔送回Labubu初代藏品競拍,108萬落空引反思
- 華為新品璀璨登場:華為Watch 5再掀智能穿戴潮流,玫瑰金FreeBuds 6引領時尚風向
- 旅智科技與百望股份聯(lián)手共創(chuàng),探索智慧旅游新篇章
- AI出境游新玩法:馬蜂窩引領新加坡旅行新潮流,AI小螞助你輕松游遍獅城
- 騰訊在線視頻架構大調整:孫忠懷領銜新執(zhí)行委員會,打造高效運營新模式
- 華為十年巨額投入:從技術破局到領跑新篇章
- 谷歌啟動大規(guī)模裁員計劃,核心部門員工面臨自愿離職,搜索業(yè)務受波及
- 小米新款NAS即將問世:十月量產年底前上市,家庭存儲新選擇!
- 小米SU7 Ultra量產版破紀錄:打破常規(guī),實力再現(xiàn),讓人熱血沸騰
免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。