喜讯 | 众数信科再添国家发明专利，大模型能力再提升

2024-11-18 09:14

近日，众数信科喜报频传，成果丰硕。公司自主研发的“一种文本嵌入模型的优化方法”成功获得国家知识产权局颁发的发明专利证书，标志着公司在人工智能领域的创新实力再次得到认可。

该专利技术有效突破了基础模型的局限，显著提升了嵌入表达能力，增强了模型对复杂场景的适应性及对不同语言的泛化能力，具备广泛的实际应用前景。

知识课堂

在自然语言处理中，文本嵌入模型（Text-Embedding Model）是一种将文本数据转化为可进行数学计算的特征向量的技术，是进行语义特征提取的最有效手段之一，在大模型RAG领域有着广泛的实际应用基础。

突破模型框架限制

文本嵌入模型在对文本进行编码时，常受到模型框架的限制。为提升模型性能，我们创新性地提出了“一种对文本嵌入模型的优化方法”。

优化重点

本专利在原有通用文本嵌入模型的基础结构上进行了优化。我们针对编码层中的注意力计算模块进行了改进，在提升嵌入表达能力的同时，有效控制了注意力计算模块的参数量。此外，对模型的中间计算模块进行了改进，扩展了模型的学习维度，增强了学习能力，进一步提升了输出嵌入对离散数据的表达能力。这种创新的架构设计在显著提升嵌入向量表达能力的同时，巧妙地避免了参数数量的增加，并增强了嵌入向量的表意精确度，提高了模型对复杂场景的适应性和对不同语言的泛化能力，为广泛的实际应用奠定了坚实基础。

（注意力计算方式示意图）

（解码层中间计算模块示意图）

众数信科始终重视知识产权的创新工作。公司核心团队精通人工智能算法研究、模型训练、模型微调及模型应用等人工智能领域的相关技术，并在物联网和大数据等领域的融合应用技术方面具有丰富经验。公司自主研发了多项基础平台软件和核心算法，积极开展信创国产化适配。截至目前，已获得四十余项发明专利和软件著作权，技术实力和创新贡献屡获认可。

众数信科将持续深化对人工智能前沿技术的研究，攻坚克难，促进专利成果的转化与应用，为各行业的数字化升级提供助力。