香国特攻王小川新公司「百川智能」发布首个开源中英文大模型,开源免费可商用 最前线
在C-Eval、AGIEval、MMLU等多个NLP权威测试中,baichuan-7B综合效果都位于当前中文大模型的前列。
36氪获悉,6月15日,百川智能公司正式推出中英文预训练大模型——baichuan-7B,参数量为70亿。
在MMLU英文权威评测榜单上,baichuan-7B也超过了Meta旗下的LLaMA-7B。MMLU是由加州大学伯克利分校等知名高校共同打造,集合了科学、工程、数学、人文、社会科学等领域的57个科目,主要目标是对模型的英文跨学科专业能力进行深入测试。其内容广泛,从初级水平一直涵盖到高级专业水平。
而AGIEval评测基准则是由微软研究院发起,意在全面评估基础模型在人类认知和问题解决相关任务上的能力,包含了中国的高考、司法考试,以及美国的SAT、LSAT、GRE和GMAT等20个公开且严谨的官方入学和职业资格考试。在AGIEval的评测里,baichuan-7B综合评分达到34.4分,超过LLaMa-7B、Falcon-7B、Bloom-7B以及ChatGLM-6B等其他开源模型。
此次开源内容包含推理代码、INT4量化实现、微调代码,以及预训练模型的权重。其中,微调代码方便用户对模型进行调整和优化;推理代码与INT4量化实现则有助于开发者低成本地进行模型的部署和应用。在预训练模型权重开源后,用户则可以直接使用预训练模型进行各种实验研究。
而在数据质量上,通过质量模型对数据进行打分,对原始数据集进行篇章级和句子级的精确筛选,对数据进行了多层次多粒度的聚类,最终构建了包含1.2万亿token的兼顾质量和多样性的预训练数据。
训练又是另一个重要的工程壁垒。baichuan-7B整合了模型算子来加快计算流程,并针对任务负载和集群配置,自适应优化了模型并行策略以及重计算策略。通过高效的训练过程调度通信,baichuan-7B成功地实现了计算与通信高效重叠,进而加速了训练效率,在千卡集群上训练的吞吐速度达到180+Tflops——这也相较业界平均水平要高。
本次百川开源的的预训练模型也将开源模型窗口进行扩展,开放了4K的上下文窗口。当前,已有的开源模型窗口长度在2K以内——对一些长文本建模任务,以往模型的处理效果可能会有所制约。在需要引入外部知识做搜索增强的场景,延展到4K后,模型在训练与推理阶段就能捕获越多的上下文信息,从而让模型的应用场景更广泛。
而对于大模型的“幻觉”问题,baichuan-7B也对模型训练流程进行深度优化,在这一问题上有所改善。据百川智能团队介绍,训练中,百川采用了更稳定的训练流程和超参数选择,使baichuan-7B模型的收敛速度大大提升。和同等参数规模的模型相比,baichuan-7B在困惑度(PPL)和训练损失(training loss)等关键性能指标上表现更加优秀。
|