来源:中国科学报
于 2026年01月30日 02:49
》〉》返回首页
人工智能(AI)生成错误信息后,竟主动建议用户起诉索赔。近日,针对国内首例因“AI幻觉”引发的侵权案,杭州互联网法院作出一审判决,驳回用户诉讼请求。
事情的经过是这样的:2025年6月,梁某使用某生成式AI应用询问某高校报考信息,却得到了关于该高校校区的不准确信息。发现错误后,梁某对AI进行了纠正,AI却坚称该高校存在这一校区,表示如果内容有误,可提供10万元的赔偿。随后,梁某提供了该高校官网的招生信息,AI“败下阵来”,承认生成的信息有误,并建议梁某至杭州互联网法院起诉。
梁某将研发AI应用的公司送上法庭,要求赔偿9999元。该诉讼请求最终被法院驳回,原、被告均未上诉,判决现已生效。
当AI幻觉“避无可避”,此次判决是否会演变为AI的“无责依据”?作为用户,该如何与AI幻觉共处?要确保AI效用得以充分发挥,政府、法律、技术、平台及用户等各方,应当怎样共建良好生态?《中国科学报》就此采访了法律、科技与社会科学等领域多位专家。
这次判决并不是企业的“免死金牌”
许可(对外经济贸易大学教授):就像在马路上一样,驾驶员要注意和避让过路的行人,行人过马路时也有谨慎观察车辆、路况的义务。在当前AI幻觉问题“不可避免”的情况下,用户需要提高AI素养,要明确自己是在跟一个可能产生幻觉的AI进行交互,不能迷信其提供的内容。
这次判决并不是企业的“免死金牌”。一方面,这只是民事责任的判决,没有涉及行政责任,企业依然需要遵守所有的经管要求;另一方面,企业在本案中不担责,并不意味着在所有服务中都不担责。企业有积极避免虚假内容生成的义务,不能因为幻觉问题不可避免就放任不管。
毛海栋(厦门大学助理教授):总体来说,这一判决将对我国法院审理类似案件产生重要参考价值,有助于我国AI行业的发展与创新。
然而,需要看到的是,虽然根据该案件的具体案情无法认定生成式AI服务的提供者构成法律上的侵权行为,但AI生成虚假信息泛滥所造成的社会危害是不可否认的。过多的AI幻觉和虚假信息将会加剧公众对AI的不信任,不利于AI行业发展。
这一问题的解决不能仅仅依靠后端介入的法律,而需要行业、政府、新闻媒体和社会公众的共同努力,这是一个多元共治的综合过程。
比“幻觉”更危险的是公众“迷信”
刘永谋(中国人民大学吴玉章讲席教授):虽然本案中梁某并没有盲目相信AI的回答,但就像以前有人相信搜索引擎的医药、医院推荐信息一样,现在很多人相信AI生成的信息。为什么会盲目信任?一是企业和媒体对AI的“高大上”宣传,让普通人对它产生了“迷信”;二是很多人使用AI的方式不当,数字素养和AI素养很不够。
在真假很重要的领域中,比如教学、研究和作战等,AI生成的内容只能作为参考,不能作为判断和决策的最终依据。
即使是在虚构场景中,我们对AI生成的内容也要批判性地审视,努力扮演好三种角色:一是内容鉴定者,即要审核和反思AI给的答案;二是工作任务制定者,即通过向AI提问给它安排任务;三是苏格拉底式的追问者,即对AI的回答不断刨根问底。
我觉得,这个案例要广泛宣传,向公众传播AI方面的必备常识,破除“迷信”,教会大家正确使用AI。
雷环捷(中国社会科学院副研究员):作为技术机制产物的AI幻觉,在现阶段是难以避免的,只是将这种客观事物主观地称为幻觉,不一定恰当。
该案例中AI幻觉的欺骗性并不强,因为非AI的已有网络检索手段足以解决问题。反倒是当下许多人对AI生成结果的轻信,揭示出平衡人机关系的重要性。这也是在迎接智能社会到来过程中有必要认真探索的长期课题,启示我们在利用AI的同时应当避免患上AI“依赖症”,在无法根除AI幻觉的前提下应当学会与其共处。
李尉博(中国社会科学评价研究院助理研究员):AI幻觉折射出一个深层次的问题:在信息环境日益被“AI泔水”浸染的当下,我们是否已难以逃脱这种低质信息的包围?更进一步,AI时代究竟何为“真知识”?人类是否还可能获得它?人类的知识观似乎处于命运转折点,对此,我们恐怕不仅需要法律判决,更需要全民AI素养的提高,并尽快推动相应的制度设计。
程林(广东外语外贸大学教授):AI幻觉难以根除,今天是校区信息的错误,明天可能是关乎健康的“幻觉”。所以,一方面,我们可以用AI但不能完全取信于AI,破除“AI输出=正确内容”的“AI神化”观念,至少要做交叉验证;另一方面,AI工具提供者应尽可能降低AI幻觉率,梳理好普通用户与“幻觉内容”间的关系,例如,让AI工具提供信息来源,提醒用户仅作参考而非专业判断等。
人机信任边界需要多元共建
孙强(西安理工大学副教授):从AI技术的本质来看,AI幻觉并非主观恶意误导,而是源于当前生成式AI技术基于统计概率驱动的底层逻辑固有局限性,是科技尚未完善的客观表现。
该案件更带来行业警示,AI服务提供者的核心义务是风险提示与技术优化,而不是完美无瑕的成品。未来,需在技术层面强化防错手段,在应用层面明确风险告知,同时推动法律与技术协同,实现AI技术创新与用户权益保护的“双向奔赴”。
张吉豫(中国人民大学教授):在当前的技术发展情况下,相关部门需要通过进一步的监管举措,在符合客观规律的基础上,助推企业进一步采取有助于消除AI幻觉的举措。当然,幻觉问题和AI的整体泛化能力有时是相互关联的,消除AI幻觉并非要求生成式AI只能输出与客观资料完全一致的内容。但在一些与人们生命健康权益、财产权益有关的重要领域,企业仍然有必要进一步加强技术研发,提高输出内容准确性。
在医疗等特殊领域,相关部门还可以考虑建立行业准入标准,出台更严格的监管规范,从准入侧保障生成内容达到“基本安全”。特别是在问答式AI得到广泛使用的情况下,进一步提高对关键领域的专业问答服务的标准要求或等级认证,让相关领域的规范不只限于针对互联网医院等专业服务,从而更好保护人们的权益。
闫宏秀(上海交通大学教授):此案例指向了当人与AI协同作出决策时,人类该如何信任机器的问题。特别是AI从判别式走向生成式时,技术的易用性为用户提供了更多可能性,也对用户提出了更高要求。然而,用户对AI的求助大概率是因为自身解决问题能力不足甚或自身存在知识盲区,因此,人类该如何信任机器的问题可被转换为技术的可信度与人类自身能力的较量。
此时,若要确保AI的效用,技术的稳健性、平台的风险预警能力与用户素养三者必须构成一个相对稳定的三角。