OpenGPT-X研究项目的大型语言模型现在可以在hug Face上下载：“Teuken-7B”已经在欧盟所有24种官方语言中从无开始训练，包含70亿个参数。
研究人员和公司可以将这个商业上可用的开源模型用于他们自己的人工智能应用程序。由弗劳恩霍夫智能分析与信息系统研究所和集成电路研究所领导的OpenGPT-X联盟开发了一种开源的人工智能语言模型，具有明显的欧洲视角。
“在OpenGPT-X项目中，我们花了两年时间与领先的行业和研究合作伙伴一起研究大型人工智能基础模型和训练模型的底层技术。我们很高兴能够免费提供我们的‘Teuken-7B’模型，为学术界和工业界提供一个公共的，基于研究的替代方案，”弗劳恩霍夫IAIS主任Stefan Wrobel教授说。
“我们的模型已经证明了它在各种语言中的能力，我们希望尽可能多的人将适应和开发这个模型，用于他们自己的工作和应用程序。通过这种方式，我们希望在科学界以及与来自不同行业的公司一起，为日益增长的对透明和可定制的生成人工智能解决方案的需求做出贡献。”
Teuken-7B是目前为数不多的大型语言模型之一。它包含大约50%的非英语预训练数据，并且已经用所有24种欧洲官方语言进行了训练。它已被证明在跨多种语言的性能上是稳定可靠的。
这提供了额外的价值，特别是对于有多语言沟通需求、产品和服务的国际公司和组织。开源模型允许公司和组织在实际应用程序中运行他们自己的定制模型。敏感的公司数据可以留在公司内部。
除了模型训练，OpenGPT-X团队还解决了一些研究问题，例如如何以更节能、更经济的方式训练和操作多语言人工智能语言模型。为此，该项目开发了一个多语言的“标记器”。
标记器的任务是将单词分解成单个单词组件——标记越少，语言模型生成答案的效率越高，速度越快。与其他多语言标记器（如Llama3或Mistral）相比，开发的标记器可以减少培训成本。这对于单词结构较长的欧洲语言，如德语、芬兰语或匈牙利语，尤其有价值。
图肯- 7b可以通过Gaia-X基础设施访问。因此，Gaia-X生态系统中的参与者可以开发创新的语言应用，并将其转化为各自领域的具体应用场景。与现有的云解决方案不同，Gaia-X是一个联邦生态系统，允许服务提供商和数据所有者连接。数据与其所有者保持安全，并且仅在规定的条件下共享。
“我很高兴看到今天基于Gaia-X的大型语言模型Teuken-7B的发布，并祝贺OpenGPT-X项目达到了这一重要的里程碑。
“Teuken-7B的一个特殊功能是它可以安全地使用敏感的企业数据，因为gia - x标准保证数据存储和处理符合最严格的欧洲数据保护和安全法规。
BMWK议会国务秘书Franziska Brantner博士表示：“这种新模式和创新加强了德国和欧洲的数字主权、竞争力和弹性。”
Fraunhofer IIS主任Bernhard Grill教授强调了该模型在安全关键应用方面的潜力。有了这个独立开发的语言模型，项目合作伙伴展示了他们生成自己的大型模型的能力。
“对大型语言模型的访问使应用程序能够在不需要不透明的第三方组件的情况下对该技术提供更大的控制，例如在汽车，机器人，医学和金融等安全关键领域。通过对与特定应用程序相关的数据进行培训，并使用特定于应用程序的架构，公司可以创建定制的人工智能解决方案，而不需要‘黑匣子’组件。”
OpenGPT-X项目的重要研究成果已被纳入模型开发，例如处理大量数据的工具和技术，利用强大的欧洲HPC基础设施和执行高效的模型训练。
图肯- 7b是在德国科学研究中心（Forschungszentrum j
在OpenGPT-X中开发的技术还将为合作伙伴在未来训练自己的模型提供基础。
“OpenGPT-X是一个例子，说明了公共资助项目的资源和广泛联盟的协作努力如何能够提供有价值的基础技术——从底层基础设施到模型培训再到生产应用程序。
德国人工智能协会常务董事兼欧洲人工智能论坛主席Daniel Abbou强调：“为了技术和数据主权的利益，重要的是要在这个基础上继续发展：我们希望OpenGPT-X将为许多后续活动奠定基础。”
该研究项目于2022年初启动，目前已接近完成。它将持续到2025年3月31日，以便对模型进行进一步优化和评价。
学术界或工业界感兴趣的开发人员可以从hug Face免费下载Teuken-7B，并在自己的开发环境中使用它。该模型已经通过“指令调优”对聊天进行了优化。指令调优用于调整大型语言模型，以便模型正确地理解来自用户的指令，这在实际使用模型时（例如在聊天应用程序中）非常重要。
Teuken-7B有两个免费版本：一个仅用于研究目的，另一个是“Apache 2.0”许可版本，可供公司用于研究和商业目的，并集成到他们自己的人工智能应用程序中。这两种模型的性能大致相当，但是用于指令调优的一些数据集排除了商业用途，因此没有在Apache 2.0版本中使用。
