您尚未登录账户
您的企业账号申请正在审核中
百川智能与鹏城实验室携手推进国产算力大模型创新与应用
百川智能与鹏城实验室宣布携手探索大模型训练和应用，打造国产算力大模型“鹏城-百川·脑海33B”。
国产算力大模型是国内人工智能产业的重要方向，但也面临着诸多挑战，如算力供需不平衡、生态建设不完善、成本控制困难等。为了解决这些问题，百川智能与鹏城实验室宣布合作研发基于国产算力的128K长窗口大模型“鹏城-百川·脑海33B”，并在论坛上展示了该模型的性能和应用。
鹏城实验室是国家战略科技力量的重要组成部分，秉持“国产算力+自主大模型”的创新理念，广泛联合企业、高校和科研院所，通过开源群智的合作模式共享资源，为千行百业插上人工智能的“翅膀”。百川智能是国内领先的大模型企业，自成立以来一直在推动大模型研发和开源生态建设，其开源和闭源模型在同等量级权威评测中都取得了优异成绩。双方在合作过程中能够充分发挥各自优势形成合力，更好地满足我国不断增长的智能化转型需求，助力中国人工智能产业快速崛起。
“鹏城-百川·脑海33B”是基于“鹏城云脑”国产算力平台训练的最长上下文窗口大模型，未来可升级至192K。上下文窗口长度是大模型的核心技术之一，对模型理解和生成与特定上下文相关的文本至关重要。通常而言，更长的上下文窗口可以提供更丰富的语义信息、消除歧义，能够让模型生成的内容更准确、更流畅。
为了更好地提升“鹏城-百川·脑海33B”的上下文窗口长度和模型整体性能，百川智能和鹏城实验室对模型进行了全流程优化。在数据集构建方面，采用精细的数据构造，实现了段落、句子粒度的自动化数据过滤、选择、配比，良好的提升了数据质量；在训练架构上，通过NormHead、max-Z-Loss、dynamic-LR等自研或业界领先的模型训练优化技术，对Transformer模块进行深度优化，确保模型收敛稳定的同时，全面提升了模型优化效率和最终效果；此外，还在全生命周期的模型工具集中，通过与北京大学王亦洲、杨耀东老师团队的合作，首创了带安全约束的RLHF对齐技术，有效提升了模型内容生成质量和安全性。
本次百川智能与鹏城实验室合作研发“鹏城-百川·脑海33B”长窗口大模型，是国产算力大模型技术创新和落地的一次突破。未来，百川智能将在技术、算力等诸多维度不断深化与鹏城实验室的合作，持续助力本土大模型创新发展。
