当地时间11月19日,开发Claude语言大模型的美国人工智能企业Anthropic公司,在美国纳斯达克交易所挂牌上市,首次公开募股融资金额超810亿美元,超过Space X在今年6月创下的750亿美元的历史最高纪录,成为全球最大IPO。
从成立之初,Anthropic就强调自己与其他AI公司的不同之处在于“安全和责任”,将自己塑造为把公共利益置于商业利益之上的AI公司。
Anthropic在提交美国证券交易委员会(SEC)的IPO招股书中,也将AI安全列为公司的核心公共利益使命,承诺负责任地开发和维护先进AI,使其长期造福人类。
就在Anthropic上市前三天,美国加利福尼亚州总检察长罗布·邦塔16日宣布,正式对美国人工智能企业OpenAI提起诉讼,指控该公司违反多部法律,制造了网络攻击事件并对公共安全构成威胁。
随后OpenAI宣布已邀请第三方机构的独立安全研究人员,根据各项安全措施评估OpenAI的模型。
在人工智能迅猛发展的当下,人工智能公司在策略和技术上是否能够真正平衡安全、公共利益和商业利益?红星新闻记者专访了主要研究方向为人工智能大模型安全的浙江大学计算机科学与技术学院百人计划研究员、博导郑天航。
▲11月19日,Anthropic公司在美国纳斯达克交易所挂牌上市
Anthropic能否守住安全承诺
对于Anthropic在上市后是否能够守住“安全承诺”,郑天航向红星新闻记者表示,Anthropic上市之后,在盈利和维持股价的需求下,发布的通用大模型版本肯定还是会以性能为先。
郑天航认为,从技术角度,安全本身会带来一些技术上的限制,无论怎么做安全对齐,都不可能完全避免过度拒答(False Positive)的问题。例如在代码这一几家大模型厂商都在竞争的核心赛道,假设一个计算机安全研究人员,希望模型帮助检查本地系统的漏洞,这种需求本身是正当的,但在一个安全对齐程度很高的模型上,就有可能被拒绝。
另外,安全对齐还有可能影响模型在Token开销方面的竞争力。如果要做安全对齐,模型可能需要在思维链中加入安全判断的过程,这样就会增加Token开销,也可能导致模型运行速度变慢。
因此,无论从效用还是效率来看,安全对齐程度更高的模型,“在市场竞争中不见得具有优势”。
同时,郑天航也提出,在智能体(Agent)场景中,安全可能会体现出一定的优势。对于真正能够控制自己系统、执行实际操作的大模型,用户对安全性的需求会更高。
郑天航认为,上市公司的决策者如果需要考虑股东、董事以及其他各方面的利益,那么有可能针对不同应用场景推出不同安全对齐程度的模型。
大模型安全评估体系还不成熟
对于目前OpenAI等人工智能企业邀请第三方机构独立安全研究人员的做法,郑天航表示,这套机制偏向于一种道德约束,而不是根本性的法律约束。如果评估机构发现了一些问题,之后又能怎么样?目前并不明确。
在技术层面,郑天航认为,外部评估机构的基础能力能不能达到OpenAI整条技术流水线的水平,“我个人是存疑的”,从技术层面讲,评估机构的技术能力大概率不如OpenAI。
他分析称,评估一个系统需要首先对整条技术流水线非常熟悉,甚至可能需要比被评估企业做得更好,才有可能发现整条流水线上每一个可能出现的漏洞和问题,但目前无论是学界还是工业界,针对大模型的安全评估技术都还处在发展阶段,并没有形成特别成熟的体系。郑天航认为,评估大概率“根本发现不了一些关键性问题”。
另外,即便评估机构发现了安全问题,是否能够保持完全中立,或者能够给企业带来怎样的实际影响,也都存疑。在评估范围和人员都受到限制的情况下,技术能力更强的企业完全有可能隐藏一些自己不希望被发现的信息。
郑天航强调,无论从技术层面还是非技术层面,目前阶段想要实现全面、系统的大模型安全评估,可能性都很低。安全评估技术的发展,更多是取决于公共利益的需求,但在没有实际经济利益的前提下,也很难与在利益驱动下迅猛发展的模型能力竞争。
红星新闻记者 卿滢