如果AI“一本正经地胡说八道”,它要负责吗?昨天,全国首例AI“幻觉”侵权案法官助理吴永安接受橙柿互动独家采访,结合案件判决给出关键回应:AI不具有民事主体资格,其“承诺”不产生法律效力;AI服务提供者是否担责,需依据其是否尽到合理注意义务判定。
2025年6月,梁某使用某生成式AI应用查询高校报考信息,AI给出不准确信息。梁某指出错误后,AI坚称信息正确,表示“若内容有误将赔偿10万元”。梁某遂起诉该AI运营公司索赔9999元。
杭州互联网法院在判决书中指出,生成式人工智能服务属于“服务”范畴,而非产品质量法意义上的“产品”。该案应适用一般过错责任原则。经审查,被告在应用界面、用户协议等处履行了功能局限性的告知提示义务,且原告未能证明其遭受实际损害。2025年12月,法院作出判决,被告不构成侵权,驳回原告诉讼请求。
尽管AI的“承诺”无法被追责,但AI服务提供者并非置身事外。法院厘清了AI服务的责任边界:一是法律底线,不能生成违法内容;二是告知义务,须明确提示AI局限性;三是技术努力,要用合理技术提高准确性。
判决书中还指出,在医疗、金融等关乎人身财产安全的专业领域,服务提供者的注意义务标准应“据风险情景相应予以提高”。
“判决引起很多企业的关注。”吴永安说,“当前,杭州正积极推进人工智能创新发展第一城建设,我们希望通过该案例,向企业提供较为明确的裁判规则指引。”
据了解,目前杭州互联网法院受理的涉及生成式AI的纠纷案件数量不多,但影响力很大,主要集中于AI“幻觉”造成的误导侵权及相关知识产权纠纷。
吴永安坦言,AI技术的复杂性和发展不确定性导致现有法律体系存在一定滞后。“司法正积极回应社会发展需求,通过个案裁判形成具体规则,为未来立法积累经验。”
杭州市中级人民法院审判委员会专职委员、三级高级法官王江桥在之前采访中表示:“司法要动态平衡好人工智能技术创新、权利人利益保护与社会公共利益保护之间的关系。最终实现人工智能技术创新者‘有利可图’、数据来源者‘有权可分’、公众‘有惠可享’。”
针对AI“幻觉”给普通人带来的法律挑战,北京竞天公诚(杭州)律师事务所合伙人何远律师建议用户将AI视为“极其博学但喜欢撒谎的助手”,获取关键信息时应通过权威渠道复核。普通用户无需过度担心用户协议中的不合理条款,“在算法面前,法律仍是最后一道防线”。