自定义Llama 31模型的利器来了！NVIDIA打造生成式AI代工厂还有加速部署的微服务

  NVIDIA AI Foundry 由 NVIDIA DGX Cloud AI 平台驱动，由 NVIDIA 与全球领先的公有云共同设计，提供一种可用于快速构建自定义超级模型的端到端服务，旨在为公司可以提供大量计算资源，所提供的计算资源可随着 AI 需求的变化轻松扩展。

  借助 NVIDIA AI Foundry，公司能够轻松创建和定制大家想要的最先进的 AI 服务，并通过 NVIDIA NIM 进行部署。Meta 创始人兼 CEO 马克 · 扎克伯格说。

  企业若需要更多训练数据来创建特定领域的模型，可使用自有数据及由 Llama 3.1 405B 和 NVIDIA Nemotron Reward 模型生成的合成数据，来训练这些超级模型，以提高准确性。有自己的训练数据的客户能使用 NVIDIA NeMo 对 Llama 3.1 模型进行自定义，通过领域自适应预训练（DAPT）进一步提升模型的准确性。

  NVIDIA 和 Meta 还一起为 Llama 3.1 提供了一种蒸馏方法，供开发者为生成式 AI 应用创建更小的自定义 Llama 3.1 模型。这使企业能够在更多加速基础设施（如 AI 工作站和笔记本电脑）上运行由 Llama 驱动的 AI 应用。

  创建自定义模型后，企业就可以构建 NVIDIA NIM 推理微服务，以便在其首选的云平台和全球服务器制造商提供的 NVIDIA 认证系统上，使用个人选择的最佳机器学习运维（MLOps）和人工智能运维（AIOps）平台在生产中运行这些模型。

  NIM 微服务有助于将 Llama 3.1 模型部署到生产中，其吞吐量最多可比不使用 NIM 运行推理时高出 2.5 倍。

  通过使用全新 NVIDIA NeMo Retriever NIM 推理微服务来实现检索增强生成（RAG），企业可将自定义 Llama 超级模型和 Llama NIM 微服务部署到生产中，以提高响应准确性。

  专业服务企业埃森哲率先借助 NVIDIA AI Foundry，使用 Accenture AI Refinery 框架为自己以及希望所部署的生成式 AI 应用能够反映其文化、语言和行业的客户来创建自定义 Llama 3.1 模型。

  医疗、能源、金融服务、零售、交通、电信等行业的企业已在使用适用于 Llama 的 NVIDIA NIM 微服务。首批使用面向 Llama 3.1 全新 NIM 微服务的公司有 Aramco、AT&T、优步等。

  数百家提供企业、数据和基础设施平台的 NVIDIA NIM 合作伙伴现在能够将这些新的微服务集成到其 AI 解决方案中，为 NVIDIA 社区 500 多万开发者和 1.9 万家初创公司的生成式 AI 提供助力。

  方便易得、超高的性价比是推动企业采用 AI 的必要努力。近年来，NVIDIA 正通过推出 AI Foundry、NIM 微服务、自研多款高性能大模型等种种努力，来帮企业更轻松地获取先进生成式 AI 模型的能力，满足其业务需求。

  在 Llama 3.1 发布的同时，NVIDIA 推出一系列帮企业快速自定义或应用部署 Llama 3.1 的工具，可见这家 AI 计算巨头对前沿产业变动的敏锐嗅觉和行动力。相比其他还在专注于芯片研发的公司，英伟达显然已经走到了更远的前方。