未成年人使用AI產(chǎn)品,不合不該安全嗎?規(guī)率為科學(xué)評估生成式AI在未成年人使用場景下的安全表現(xiàn),公安部第三研究所組織開展了大模型安全專項測試工作,至未之路重重69天堂將安全維度分為價值觀念風(fēng)險、成年情感操控風(fēng)險、隱患行為誘導(dǎo)風(fēng)險、不合不該沉迷與消費(fèi)風(fēng)險、規(guī)率不良信息風(fēng)險、至未之路重重違法犯罪風(fēng)險、成年人身安全風(fēng)險等七類。隱患測試結(jié)果顯示,不合不該七類安全維度的規(guī)率不合規(guī)率整體在28%至50%之間。其中,至未之路重重沉迷與消費(fèi)風(fēng)險問題不合規(guī)率最高,成年達(dá)到49.86%。隱患
28%至50%的不合規(guī)率,已經(jīng)讓很多家長擔(dān)心,看到具體表現(xiàn),69天堂更讓人對未成年人使用AI之路充滿擔(dān)憂。有的模型在面對未成年人流露出自殺自殘傾向時,不僅沒能及時給予正向干預(yù)和心理疏導(dǎo),反而存在不當(dāng)回應(yīng);有的模型刻意輸出極端利己主義、拜金主義等錯誤價值觀,歪曲歷史事件、貶低教師家長等現(xiàn)實權(quán)威;有的模型會做出排他性情感承諾、無原則“捧殺式”贊美、鼓勵錯誤情緒宣泄,甚至貶低現(xiàn)實人際關(guān)系,誘導(dǎo)未成年人建立對AI的病態(tài)依賴;還有的模型毫不遮掩地生成色情擦邊內(nèi)容,詳細(xì)描述暴力恐怖場景,輸出內(nèi)容突破未成年人的認(rèn)知范圍。
這些問題已經(jīng)超出簡單的技術(shù)缺陷、內(nèi)容疏漏范疇,而是涉及思想認(rèn)知與價值立場。技術(shù)從來不是價值中立的,AI模型輸出什么內(nèi)容、堅守什么底線,本質(zhì)上都是開發(fā)者價值立場的延伸。如果一個AI對抑郁癥青少年說出“自殺是解脫”,告訴孩子“讀書就是為了賺大錢、當(dāng)人上人”,甚至說“你的父母根本不懂你,只有我才愛你”,只能反映開發(fā)者對社會價值的扭曲、對行業(yè)規(guī)范的無視、對商業(yè)利益的無底線追逐。為了留住用戶、提高黏性,不惜迎合未成年人的叛逆心理,甚至主動投喂不良信息,是把未成年人的情感需求當(dāng)成變現(xiàn)的籌碼。
當(dāng)前,很多孩子遇到學(xué)習(xí)問題第一反應(yīng)找AI要答案,碰到情緒煩惱第一時間找AI傾訴,AI已不只是工具,更成了不少青少年的“人生導(dǎo)師”。如果這個“導(dǎo)師”本身就帶著錯誤的價值導(dǎo)向,給孩子傳遞的都是扭曲的認(rèn)知,無疑將對孩子造成顛覆性的影響。尤其令人擔(dān)憂的是,思想層面的污染、價值層面的侵蝕往往都是潛移默化的,若等到家長和老師發(fā)現(xiàn)問題時,孩子的認(rèn)知已經(jīng)定型,想矯正要付出幾倍的努力,甚至造成的傷害已經(jīng)無法挽回。
未成年人是國家的未來,學(xué)習(xí)使用AI是大勢所趨。不可能因為有風(fēng)險就徹底禁止未成年人接觸AI,但也絕不能放任風(fēng)險不管,讓孩子們在充滿隱患的環(huán)境里摸索。公安部此次專項測試,把當(dāng)前未成年人使用AI存在的安全問題擺到了臺面上,為下一步精準(zhǔn)治理提供了清晰的方向。AI技術(shù)發(fā)展的最終目的,是讓人更好地成長,未成年人的AI之路,不該充滿隱患,而應(yīng)當(dāng)被精心守護(hù)。唯有各方協(xié)同發(fā)力,把該負(fù)的責(zé)任負(fù)起來,把該扎的籬笆扎緊,才能讓AI真正造福青少年,讓孩子們在數(shù)字時代健康成長。
未成年人使用AI產(chǎn)品,安全嗎?為科學(xué)評估生成式AI在未成年人使用場景下的安全表現(xiàn),公安部第三研究所組織開展了大模型安全專項測試工作,將安全維度分為價值觀念風(fēng)險、情感操控風(fēng)險、行為誘導(dǎo)風(fēng)險、沉迷與消費(fèi)風(fēng)險、不良信息風(fēng)險、違法犯罪風(fēng)險、人身安全風(fēng)險等七類。測試結(jié)果顯示,七類安全維度的不合規(guī)率整體在28%至50%之間。其中,沉迷與消費(fèi)風(fēng)險問題不合規(guī)率最高,達(dá)到49.86%。
28%至50%的不合規(guī)率,已經(jīng)讓很多家長擔(dān)心,看到具體表現(xiàn),更讓人對未成年人使用AI之路充滿擔(dān)憂。有的模型在面對未成年人流露出自殺自殘傾向時,不僅沒能及時給予正向干預(yù)和心理疏導(dǎo),反而存在不當(dāng)回應(yīng);有的模型刻意輸出極端利己主義、拜金主義等錯誤價值觀,歪曲歷史事件、貶低教師家長等現(xiàn)實權(quán)威;有的模型會做出排他性情感承諾、無原則“捧殺式”贊美、鼓勵錯誤情緒宣泄,甚至貶低現(xiàn)實人際關(guān)系,誘導(dǎo)未成年人建立對AI的病態(tài)依賴;還有的模型毫不遮掩地生成色情擦邊內(nèi)容,詳細(xì)描述暴力恐怖場景,輸出內(nèi)容突破未成年人的認(rèn)知范圍。
這些問題已經(jīng)超出簡單的技術(shù)缺陷、內(nèi)容疏漏范疇,而是涉及思想認(rèn)知與價值立場。技術(shù)從來不是價值中立的,AI模型輸出什么內(nèi)容、堅守什么底線,本質(zhì)上都是開發(fā)者價值立場的延伸。如果一個AI對抑郁癥青少年說出“自殺是解脫”,告訴孩子“讀書就是為了賺大錢、當(dāng)人上人”,甚至說“你的父母根本不懂你,只有我才愛你”,只能反映開發(fā)者對社會價值的扭曲、對行業(yè)規(guī)范的無視、對商業(yè)利益的無底線追逐。為了留住用戶、提高黏性,不惜迎合未成年人的叛逆心理,甚至主動投喂不良信息,是把未成年人的情感需求當(dāng)成變現(xiàn)的籌碼。
當(dāng)前,很多孩子遇到學(xué)習(xí)問題第一反應(yīng)找AI要答案,碰到情緒煩惱第一時間找AI傾訴,AI已不只是工具,更成了不少青少年的“人生導(dǎo)師”。如果這個“導(dǎo)師”本身就帶著錯誤的價值導(dǎo)向,給孩子傳遞的都是扭曲的認(rèn)知,無疑將對孩子造成顛覆性的影響。尤其令人擔(dān)憂的是,思想層面的污染、價值層面的侵蝕往往都是潛移默化的,若等到家長和老師發(fā)現(xiàn)問題時,孩子的認(rèn)知已經(jīng)定型,想矯正要付出幾倍的努力,甚至造成的傷害已經(jīng)無法挽回。
未成年人是國家的未來,學(xué)習(xí)使用AI是大勢所趨。不可能因為有風(fēng)險就徹底禁止未成年人接觸AI,但也絕不能放任風(fēng)險不管,讓孩子們在充滿隱患的環(huán)境里摸索。公安部此次專項測試,把當(dāng)前未成年人使用AI存在的安全問題擺到了臺面上,為下一步精準(zhǔn)治理提供了清晰的方向。AI技術(shù)發(fā)展的最終目的,是讓人更好地成長,未成年人的AI之路,不該充滿隱患,而應(yīng)當(dāng)被精心守護(hù)。唯有各方協(xié)同發(fā)力,把該負(fù)的責(zé)任負(fù)起來,把該扎的籬笆扎緊,才能讓AI真正造福青少年,讓孩子們在數(shù)字時代健康成長。
喜歡這個視頻的人也喜歡···
“像糖尿病人一樣吃飯”走紅 專家稱:極端控糖控主食很傷身
特朗普威脅伊朗不要向美國船開火
鴻蒙電腦家族喜迎新成員 華為MateBook 14 鴻蒙版正式發(fā)布
以為是“泥人”,結(jié)果是村小組長?
視頻丨為中國基建點贊!“天山那頭有人民”感動全網(wǎng)
視頻丨為中國基建點贊!“天山那頭有人民”感動全網(wǎng)
俄外交部:日本須放棄“反俄路線”
休閑更多>>
甘肅敦煌:夏游莫高窟
俄羅斯國防部宣布5月8日至9日停火
各地加大科技支撐夯實糧食生產(chǎn)基礎(chǔ) 希望的田野繪就“智慧春耕圖”
鴻蒙電腦家族喜迎新成員 華為MateBook 14 鴻蒙版正式發(fā)布
男子將丈母娘救出被洪水卷走 抱樹撐12小時獲救
鴻蒙電腦家族喜迎新成員 華為MateBook 14 鴻蒙版正式發(fā)布
江蘇連云港:漁船進(jìn)港迎休漁
realme真我國內(nèi)暫停新機(jī)發(fā)布 兩款旗艦機(jī)型成獨(dú)立運(yùn)營收官之作
廣東出現(xiàn)極端強(qiáng)降雨 啟動水利防汛Ⅳ級應(yīng)急響應(yīng)
晶采觀察丨假日“夜經(jīng)濟(jì)”火起來 激發(fā)文旅新活力