阿里云百炼发布Qwen2.5-Turbo模型，支持超长上下文处理
据悉，Qwen2.5-Turbo模型支持高达100万超长上下文，相当于100万个英文单词或150万个汉字。在多个长文本评测集中，其性能表现超越了GPT-4。
该模型可应用于多种场景，例如：长篇小说深入理解、代码助手和多篇论文阅读。它能够一次性处理10本长篇小说、150小时的演讲稿或3万行代码。
具体来说，在1M长度的超长文本检索任务中，Qwen2.5-Turbo的准确率达到100%。在长文本评测集RULER上，其得分达到93.1分，超越GPT-4。
在LV-eval、LongBench-Chat等更接近真实场景的长文本任务中，Qwen2.5-Turbo在大多数维度上超越了GPT-4o-mini。
除了长文本，Qwen2.5-Turbo在短文本基准上的表现也十分出色，在大多数任务上显著超越了之前上下文长度为1M tokens的开源模型。
在推理速度方面，该模型利用稀疏注意力机制将注意力部分的计算量压缩了约12.5倍，将处理1M tokens上下文时的首字返回时间从4.9分钟降低到了68秒，速度提升了4.3倍。
尽管如此，长文本任务处理仍面临诸多挑战。未来，阿里云百炼将继续探索长序列人类偏好对齐，优化推理效率和研发更大、更强的长文本模型。
0 条