多模態(tài)大模型在解讀鐘表和日歷時頻頻失手。本文通過ClockQA與CalendarQA數(shù)據(jù)集，揭示其視覺識別與時間推理的短板，探索AI的“時間盲區(qū)”。
時間是生活中最司空見慣卻又不可或缺的存在。對于人類來說，掃一眼鐘表就能知道幾點，翻開日歷便能算出下周是星期幾，這種能力幾乎是與生俱來的。然而，當(dāng)我們把同樣的任務(wù)交給如今炙手可熱的多模態(tài)大語言模型(MLLMs)，結(jié)果卻出乎意料——這些號稱“聰明絕頂”的AI，竟在時間的迷霧中頻頻迷路。它們能識別貓狗，能描述風(fēng)景，卻常常連指針指向幾點都搞不清楚，更別提算出一年中的第153天是哪一天了。為了弄明白AI在這方面的真實水平，我們設(shè)計了一場別開生面的實驗，試圖揭開它們在時間理解上的神秘面紗。
這場實驗的核心，是兩個精心打造的數(shù)據(jù)集：ClockQA和CalendarQA。ClockQA就像一個鐘表博物館，里面收藏了62個模擬鐘表圖像，種類五花八門——有經(jīng)典的標準鐘，黑底白字的對比款，沒有秒針的簡約版，甚至還有羅馬數(shù)字和箭頭指針的藝術(shù)款。我們會問AI一個簡單的問題：“這個鐘表顯示的時間是幾點？”看似輕松，實則暗藏玄機：AI不僅要看清時針、分針、秒針的位置，還得把這些視覺信息轉(zhuǎn)化為具體的時間表述。而CalendarQA則更像一本時間年鑒，涵蓋了整整十年的日歷圖像，從元旦到除夕一應(yīng)俱全。問題既有“圣誕節(jié)是星期幾”這樣耳熟能詳?shù)?，也有“?00天是什么日子”這種需要動腦筋的。兩個數(shù)據(jù)集雖然規(guī)模不大，卻像兩把鋒利的探針，直刺AI在視覺識別、數(shù)字計算和時間推理上的薄弱之處。
為什么要研究這個？原因很簡單：理解時間不僅是人類的基本技能，也是AI走向?qū)嵱没年P(guān)鍵一步。試想，如果AI能像人一樣讀懂鐘表和日歷，它就能幫我們安排日程、提醒會議，甚至在無人駕駛中根據(jù)時間調(diào)整策略。然而，現(xiàn)實卻是殘酷的。盡管多模態(tài)大模型近年來在圖像識別、場景描述等領(lǐng)域突飛猛進，但對于時間推理的研究卻寥寥無幾。過去，人們更關(guān)心AI能不能認出照片里的物體，能不能寫出漂亮的圖片說明，卻很少有人問：它能不能看懂鐘表指針的微妙角度？能不能從日歷里算出某個日期的星期幾？這種忽視，讓時間理解成了AI能力版圖上的一塊空白。
為了填補這塊空白，我們的實驗不僅設(shè)計了多樣化的測試內(nèi)容，還動用了七款頂尖的多模態(tài)模型，包括閉源的GPT-4o、Gemini 2.0、Claude 3.5 Sonnet，以及開源的Llama 3.2、Qwen2-VL等。這些模型個個來頭不小，有的擅長語言生成，有的在視覺任務(wù)中表現(xiàn)搶眼，但面對鐘表和日歷，它們會交出怎樣的答卷？我們滿懷期待地開始了測試。
每個模型在時鐘(左)和日歷(右)任務(wù)上的性能。數(shù)值越高越好(↑);數(shù)值越低越好(↓)。
先來看ClockQA的挑戰(zhàn)。想象一個普通的圓形鐘表，時針指向3，分針指向12，秒針指向6——對于人來說，這顯然是3點2分6秒。可對AI來說，這卻是一場視覺與邏輯的雙重考驗。它得先從圖像中分辨出三根指針的位置，再根據(jù)角度計算出具體時間，還要考慮12小時的循環(huán)規(guī)律。我們的數(shù)據(jù)集里，鐘表的樣式千變?nèi)f化：標準款簡潔明了，黑面鐘對比鮮明，羅馬數(shù)字鐘充滿古典氣息，箭頭指針鐘則頗具設(shè)計感。每種樣式都可能讓AI犯暈——比如，羅馬數(shù)字的“IV”和“VI”長得有點像，指針稍微模糊一點，AI就可能看錯。更別提有些鐘表故意去掉了秒針，我們本以為這會讓任務(wù)變簡單，結(jié)果卻發(fā)現(xiàn)，不少模型依然手足無措，連時針和分針都分不清。
測試結(jié)果讓人既驚訝又無奈。Gemini-2.0在讀鐘任務(wù)中表現(xiàn)稍好，它的時針和分針誤差相對較低，比如一個指向4點的鐘表，它最多錯個幾分鐘。可即便如此，它的整體準確率也只有22.58%，也就是說，五次里只有一次能完全答對。其他模型的表現(xiàn)更是不忍直視，有的甚至習(xí)慣性地“猜”出一個默認時間，比如總是說“12點”，完全無視指針的實際位置。特別是面對羅馬數(shù)字鐘或箭頭指針鐘，錯誤率直線上升。更有趣的是，去掉秒針并沒有讓任務(wù)變簡單，反而暴露了AI在指針檢測和角度計算上的深層問題——它們似乎根本搞不清指針間的相對關(guān)系。
再來看CalendarQA的挑戰(zhàn)。相比鐘表，日歷任務(wù)更像一場腦力游戲。我們給AI一張完整的年歷圖，然后拋出問題：“元旦是星期幾？”“3月15日是什么日子？”或者“第153天是哪一天？”這些問題看似簡單，實則需要AI同時具備視覺解析和數(shù)學(xué)計算的能力。它得先看懂日歷的布局，找到對應(yīng)的日期格子，再結(jié)合問題進行推理。比如，回答“圣誕節(jié)是星期幾”，AI需要定位12月25日，然后算出那天的星期；如果是“第100天”，則要從1月1日開始逐一計數(shù)，還要考慮閏年這樣的細節(jié)。
結(jié)果顯示，日歷任務(wù)的表現(xiàn)比鐘表任務(wù)稍好，但依然問題多多。GPT-o1在這部分大放異彩，準確率高達80%，尤其是面對熱門節(jié)日如元旦和圣誕節(jié)，幾乎百發(fā)百中。相比之下，其他模型就遜色不少，Claude 3.5在常見日期上還有些準頭，可一旦涉及冷門日期或需要計算的“第n天”，準確率就直線下降。比如，問它“3月15日是星期幾”，有的模型答得驢唇不對馬嘴；問“第153天是什么日子”，不少模型直接卡殼，連基本的日期遞推都做不到。開源模型如MiniCPM和Qwen2-VL的表現(xiàn)尤為糟糕，面對復(fù)雜問題時幾乎是隨機猜測，毫無章法可言。
為什么會出現(xiàn)這樣的差距？仔細分析后，我們發(fā)現(xiàn)了一些端倪。在鐘表任務(wù)中，AI的短板主要集中在視覺識別上——指針的位置稍有偏移，它們就可能判斷失誤；而在日歷任務(wù)中，計算能力成了關(guān)鍵瓶頸。特別是需要日期偏移的問題，比如“第153天”，AI不僅要看懂日歷，還要一步步推算，這對它們的邏輯推理能力提出了更高要求。閉源模型如GPT-o1之所以表現(xiàn)突出，可能因為它們在訓(xùn)練中接觸過更多類似的模式，比如熱門節(jié)日的日期分布；而開源模型由于數(shù)據(jù)和算力的限制，往往在這類任務(wù)中力不從心。
盡管我們的數(shù)據(jù)集規(guī)模不大，只有62個鐘表樣本和10年的日歷數(shù)據(jù)，但它卻像一盞探照燈，照亮了AI在時間理解上的諸多盲區(qū)。比如，羅馬數(shù)字鐘暴露了AI在字符識別上的弱點；沒有秒針的鐘表揭示了它們對指針角度的依賴性；而日歷中冷門日期的低準確率，則反映了AI在泛化能力上的不足。這些發(fā)現(xiàn)雖然初步，卻為未來的研究指明了方向——要想讓AI真正“懂時間”，不僅需要提升它們的視覺感知能力，還得強化數(shù)字計算和結(jié)構(gòu)化推理的水平。
回過頭來看，這場實驗不僅是一次技術(shù)上的探索，更是對AI極限的一次叩問。時間，這個人類習(xí)以為常的概念，對AI來說卻是一片未解的迷霧。我們的測試結(jié)果表明，即便是最先進的模型，也遠未達到人類在時間理解上的自然與流暢。Gemini-2.0能在鐘表上稍有建樹，GPT-o1能在日歷中嶄露頭角，但整體來看，錯誤依然層出不窮。指針的微妙傾斜、日歷格子的細小數(shù)字，這些看似簡單的細節(jié)，卻成了AI難以逾越的鴻溝。
未來，要讓AI擺脫這片時光迷霧，或許需要從多個角度入手。比如，改進它們對鐘表幾何關(guān)系的理解，讓它們能更精準地捕捉指針的角度；或者優(yōu)化對日歷結(jié)構(gòu)的解析能力，讓它們能像翻書一樣輕松找到答案。更重要的是，得教會它們像人類一樣思考時間——不僅是看懂表面數(shù)字，還要理解時間的流動與邏輯。這條路還很長，但每一步探索都在為AI的成長鋪路。
總的來說，這次研究就像一場小小的冒險，帶我們走進AI的“時間盲區(qū)”。ClockQA和CalendarQA雖然只是兩把小小的鑰匙，卻打開了通往未知的大門。AI的未來或許光明，但至少在今天，它們還無法像我們一樣，隨手一瞥就知道“現(xiàn)在是幾點”。而這，正是我們繼續(xù)前行的理由。
本文譯自 arxiv.org，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
