DCFormer架构是彩云科技在2024年国际机器学习大会ICML上首次提出的全新模型架构。该架构在Transformer的基础上进行改进,通过引入可动态组合的多头注意力(DCMHA)机制,实现了更灵活的动态组合,从而在相同训练数据下,将算力智能转化率提升至Transformer的1.7到2倍。
云锦天章是彩云科技基于DCFormer架构开发的通用大模型,具有丰富的应用场景。它可以实现在虚构世界观的基础上,赋予小说人物编程、数学等基础能力,可以高速针对大量文字进行扩写、缩写,针对文章风格进行大容量更换,同时兼具其他模型的问答、数学、编程等基础能力。
彩云科技旗下AI RPG平台彩云小梦也迎来了基于DCFormer架构的V3.5版本升级。此次升级标志着人工智能领域在模型架构效率方面取得了重大突破。测试显示,基于DCFormer架构开发的DCPythia-6.9B模型在性能上实现了对传统Transformer模型1.7-2倍的显著提升。
彩云科技CEO袁行远表示,随着AI技术的不断发展,能源挑战成为制约AI产业发展的关键因素。彩云科技选择从改善模型底层架构入手,通过DCFormer架构提升模型效率,降低能耗,助力AI产业可持续发展。
彩云科技凭借在AI领域的深厚积累和创新能力,不断推出具有突破性的技术成果。未来,彩云科技将继续致力于推动AI技术的发展,为我国乃至全球的AI产业贡献力量。