2016年3月，Microsoft在Twitter上發(fā)布了新的聊天機器人Tay.AI。根據(jù)描述，Tay是“理解對話”實驗的一部分，語言風格模仿美國中學女生，通過推文或直接消息與人們進行對話。她熱愛E.D.M.音樂，有最喜歡的神奇寶貝，并且經常使用網(wǎng)絡用語，如“滿滿的負能量”。
Tay是機器學習，自然語言處理和社交網(wǎng)絡的交叉學科產物。過去的聊天機器人(如約瑟夫·魏岑鮑姆的Eliza)都是遵循預先編程的狹窄腳本來進行對話，而Tay則會隨著時間流逝學習更多——她可以就任何話題展開對話。
微軟的工程師利用匿名公共數(shù)據(jù)的數(shù)據(jù)集以及專業(yè)喜劇演員提供的一些預先編寫的文本，對Tay的算法進行了培訓，以使其掌握基本的語言規(guī)范。在線發(fā)布后，算法將通過與真人交互啟發(fā)式地學習語言模式。最終，程序員希望Tay的回應就像互聯(lián)網(wǎng)本身的反饋。
上線16個小時內，Tay發(fā)了超過95000條推文，而令人不安的的是，其中有大量侮辱性和令人反感的內容。 Twitter用戶表達了他們的憤慨，微軟別無選擇，只能暫停該帳戶。該公司原本打算在“對話理解”中進行有趣實驗的意圖已經變成了一場噩夢，網(wǎng)友故意的挑唆和調教，使AI逐漸失控。
事實證明，在Tay發(fā)布后僅幾個小時后，就有大量的4chan用戶開始向AI灌輸種族主義和納粹式的語言。如一位無辜的用戶提問道，英國演員Tay Ricky Gervais是否為無神論者，Tay對此回答：“ Ricky Gervais從無神論者阿道夫·希特勒那里學到了極權主義?！?/p>
被玩壞的Tay甚至超出4channers的預期，并在隨后幾周內引發(fā)了廣泛討論。一些人將實驗的失敗視作互聯(lián)網(wǎng)使人變暴力的證據(jù)。
不過，對其他人來說，Tay則代表著微軟在設計上不縝密的思路。
游戲開發(fā)者兼作家Zo? Quinn認為，微軟應該能夠提前想到的才對。如果機器人在Twitter上學習說話，那么它自然會學習到辱罵性的語言。Quinn認為，微軟應該為這種意外情況做好預案，并確保Tay不會學壞?！艾F(xiàn)在可是2016年啦，如果您在設計/工程過程中不問問自己'如何避免項目被用來傷害某人'，那您就太out了。”
在Tay下線幾個月后，微軟發(fā)布了Zo——原始AI的“政治正確”版本。Zo從2016年到2019年一直活躍在社交網(wǎng)絡上，對策是暫停有爭議的主題(包括政治和宗教)對話，以確保她不會冒犯到他人。(如果網(wǎng)友一直用敏感問題糾纏它，她會完全放棄對話，并說了一句：“我比你強，拜?！?
我們從微軟的失敗中學到的硬道理是，設計可以與人類在線交流的智能系統(tǒng)不僅是一個技術問題，而且是一項社會活動。邀請機器人進入充滿價值判斷的語言世界，需要事先考慮其部署環(huán)境，您希望它成為哪類信息的傳播者以及您希望它體現(xiàn)什么樣的人類價值觀。
隨著我們朝著真AI的目標邁進，這些問題必須擺到設計計劃書中的開頭幾行。否則，將會有更多學壞了的AI被釋放到世界上，它們會以語言的方式映照出人類自己最糟糕的部分。
本文譯自 spectrum，由譯者 majer 基于創(chuàng)作共用協(xié)議(BY-NC)發(fā)布。
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
