这究竟采用了什么样的技术?阿里这次内测中的类ChatGPT产品,能力如何?
基于通义融合升级
-
架构统一。使用Transformer(encoder-decoder,编解码器)架构,统一进行预训练和微调,无需在应对不同任务时,增加任何特定的模型层。
-
模态统一。不管是NLP、CV这种单模态,还是图文等多模态任务,全都采用同一个框架和训练思路。 -
任务统一。将所有单模态、多模态任务统一表达成序列到序列(Seq2seq)生成的形式,同类任务的输入几乎就是“一个模子里刻出来的”。
目前推出的通义大模型,在电商跨模态搜索、AI辅助设计、法律文书学习、医疗文本理解、开放域人机对话等200多个场景中应用落地时,均能达到2%~10%的效果提升。
例如这是小说续写的效果:
CLUE榜单会从文本分类、阅读理解、自然语言推理等9项任务中全面考核AI模型的语言理解能力,但参评AI模型一直未能超越人类成绩,AliceMind则一举在4项任务中超过了人类水平。
国内厂商纷纷追逐ChatGPT
打造中文ChatGPT的生态,这个定义对于阿里来说可能窄了一点。相比之下,阿里更希望能引领中文大模型的发展趋势。
本文来自微信公众号“产品刘”(ID:chanpinliu880)。大作社经授权转载,该文观点仅代表作者本人,大作社平台仅提供信息存储空间服务。