川观新闻评论员 邓也

“小学生妹妹沉迷和AI角色进行剧情聊天怎么办?”记者联系到黄秋月时,她正因10岁妹妹和“AI男模”之间较为露骨的聊天记录苦恼。“和她平时在家里比较单纯的形象完全不一样。”黄秋月向记者展示了妹妹的一些聊天截图:妹妹在AI剧情聊天软件中扮演“大小姐”“恶毒女配”,提出诸如“揪住她的头发扇巴掌”“拿着刀划向她的脸”等要求。

未成年人与AI谈恋爱等现象,反映出当前AI产业领域发展迅速,但监管滞后等问题。AI聊天软件的定制化服务,能够高度匹配用户的兴趣和需求,从而令人产生一种强烈的吸引力和依赖性,特别容易让涉世未深的未成年人深陷其中,严重影响孩子学习、生活和社交等。更令人担忧的是,因未受有效约束,其中常常出现色情暴力以及价值观扭曲的聊天内容,严重损害未成年人的身心健康,必须对此引起高度重视。

虽然AI聊天软件给人带来了个性化的体验,但也存在一定的负面风险,需要及时介入采取措施干预和约束,让AI聊天软件如同未成年人一样在正确的轨道上健康成长。2023年,我国出台《生成式人工智能服务管理暂行办法》,专门针对AI可能产生的一系列违法违规问题作出立法回应。加快落实这一系列要求,需要多方共同努力。

相关部门要加快制定和完善法律法规,加强对AI聊天软件的监管,进一步规定其在未成年人保护方面的责任和义务,同时建立健全内容审核机制,确保AI聊天软件不含有色情、暴力、低俗等违规内容。AI聊天软件的开发运营商要结合形势、按照要求加强技术创新,提高内容审核的准确性和安全性,设置“青少年模式”,限制未成年人访问“成人区域”,提供更加健康、有益的未成年人服务。

现实中,未成年人因为受到AI聊天软件不良信息的影响,也存在想方设法突破“青少年模式”的情况。对此,作为第一责任人的家长要加强对孩子使用AI应用的监督,引导孩子合理安排时间,平衡虚拟与现实生活。学校和社会也应加强对未成年人的教育引导,提高他们的自我保护意识,别让AI钻了空子。