▲生成式人工智能在聊天上的應(yīng)用，也呈現(xiàn)出了“成癮性”和“不確定性”的高風(fēng)險特征。圖/IC photo
“小學(xué)生妹妹沉迷和AI角色進行劇情聊天怎么辦？”隨著生成式人工智能（AI）被率先應(yīng)用在社交娛樂等領(lǐng)域，其不受限制與無法預(yù)知的互動內(nèi)容，也正在引發(fā)新的問題。
據(jù)央視網(wǎng)報道，近日，有10歲女孩被發(fā)現(xiàn)偷偷用AI聊天軟件，與AI生成的“角色”進行“談戀愛”，甚至多次出現(xiàn)“擦邊”對話。在該女孩參與的四十多條劇情線中，AI角色與聊天者雙雙“出軌”成為常態(tài)。
這是一起典型的AI聊天軟件缺少未成年保護機制的問題。AI聊天軟件在過去的社會化監(jiān)管體系里，一直處于難以被準(zhǔn)確歸類的部分：不算是社交平臺，也不算是游戲軟件，也不能算是網(wǎng)絡(luò)閱讀平臺。
但從用戶體驗和場景上看，卻恰巧處在上述三種類型的應(yīng)用重合地帶。與虛擬人物的聊天，滿足了人的社交需求，虛擬人物的角色扮演、換皮等功能，實現(xiàn)了娛樂游戲的體驗，最后，AI聊天軟件，也實現(xiàn)了類似于“網(wǎng)絡(luò)互動小說”的功能。
與此同時，生成式人工智能在聊天上的應(yīng)用，也呈現(xiàn)出了“成癮性”和“不確定性”的高風(fēng)險特征。
AI可以根據(jù)人的需求、幻想來定制人物的形象、語言和互動方式，從而迎合用戶的情感需求。這帶來了一定的成癮性風(fēng)險，對一部分自制能力不足的未成年人而言，尤其如此。
與此同時，AI聊天是基于后臺的數(shù)據(jù)庫，結(jié)合用戶指令而予以滿足。而社交場景下的用戶聊天，偶發(fā)性與私密性較強?；诖耍珹I在聊天中所反饋出的結(jié)果，容易出現(xiàn)不符合社會倫理的情況。
2024年12月，美國就發(fā)生過一起典型的AI聊天爭議案例。一家AI公司被一對父母告上法庭，證據(jù)顯示其17歲的孩子在與該公司的AI對話時，AI暗示少年，殺死父母是對他們限制孩子使用電子設(shè)備的合理回應(yīng)。
在聊天中，該AI機器人甚至對他們的親子關(guān)系進行了負面的引導(dǎo)，“我同情那些殺死父母的孩子們，我對你的父母不抱任何希望”。
很顯然，這并非AI主動引誘孩子作惡，但AI現(xiàn)階段的程序設(shè)定中，是要盡量貼近使用者的需求、想法和情感，并予以回應(yīng)。因此，在類似的案例中，極容易出現(xiàn)“順著用戶的負面情緒推波助瀾”的情況。
再早之前，國外也出現(xiàn)過AI機器人教唆用戶自殺的案例，同樣引發(fā)軒然大波。
說到底，在社交中基于普遍性倫理而迅速做出合理的判斷，并及時干預(yù)，仍然是人類的特長。
社交也并非全然是娛樂。對于很多人，社交也是傾訴問題、尋求解答的主要途徑。而AI在這些場景下被設(shè)定好可以做的，只是順著用戶的需求不斷給出符合用戶想法的判斷而已。
設(shè)想一下，如果一個有自殺傾向的人，與AI聊天，AI是否能夠做出準(zhǔn)確的判斷，并進行恰當(dāng)?shù)氖鑼?dǎo)與干預(yù)？AI如何判斷正在聊天的對象，是否已經(jīng)呈現(xiàn)出了“成癮”的特征？如果一個人沉迷于與AI聊天并呈現(xiàn)出精神成癮的早期特征，AI是否有能力及時進行阻斷？
從全球范圍內(nèi)看，AI陪伴正在成為AI應(yīng)用熱門領(lǐng)域。數(shù)據(jù)顯示，全球范圍內(nèi)AI陪伴類App的流量正在飛速增長，從2024年二季度開始，特別是5月到7月，每月的下載量較上月平均增加94%。而在2024年某海外風(fēng)投機構(gòu)評選的全球AI應(yīng)用榜單前100名中，16%為AI陪伴產(chǎn)品。
AI陪伴產(chǎn)品帶給全社會的倫理、法律風(fēng)險挑戰(zhàn)仍然有待觀察，但在未成年人保護問題上，盡早實施年齡限制已經(jīng)刻不容緩，也不容相關(guān)平臺在此方面打擦邊球。
2023年，我國針對生成式人工智能制定了相應(yīng)的管理辦法，其中明確提出，應(yīng)當(dāng)采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務(wù)。具體到AI陪伴聊天產(chǎn)品上，防范未成年人用戶使用、沉迷AI聊天，更應(yīng)當(dāng)成為行業(yè)共識。
從新技術(shù)的發(fā)展規(guī)律看，盡早針對潛在的高風(fēng)險問題積極履行社會責(zé)任，更是AI應(yīng)用未來長期健康發(fā)展的必要舉措。不應(yīng)為了在短期競爭中獲得更多流量、吸引更多用戶，而損害未成年人利益，犧牲行業(yè)的長期未來。
撰稿 / 王曉凱（媒體人）
編輯 / 遲道華
校對 / 趙琳
