https://www.communeify.com/cn/tag/llama/Communeify - Your Community PlatformHugohttps://www.communeify.com/cn/blog/llama-3-1-405b/https://www.communeify.com/cn/blog/llama-3-1-405b/Thu, 25 Jul 2024 23:25:46 +1000Meta 推出了 Llama 3.1 系列模型，其中包括 405B 参数的旗舰模型，这是首个能与顶级闭源 AI 模型相媲美的开源模型。新模型扩展了上下文长度，支持多种语言，并提供了更强大的推理能力。 {: width=“100%” } 图片转自 Meet llama 3.1{:target="_blank"} Llama 3.1 简介Llama 3.1 405B 是首个公开可用的模型，在通用知识、可控性、数学、工具使用和多语言翻译方面可与顶级 AI 模型相媲美。这个版本还包括升级版的 8B 和 70B 模型，这些模型都是多语言的，具有显著更长的 128K 上下文长度，最先进的工具使用能力，以及整体更强的推理能力。 这使得Meta最新的模型能够支持高级用例，如长文本摘要、多语言对话代理和编码助手。Meta还修改了许可证，允许开发者使用 Llama 模型的输出来自改进其他模型。 模型架构训练 Llama 3.1 405B 是一个重大挑战，需要在超过 15 万亿个标记上进行训练。为了在合理的时间内实现这一规模的训练并达到Meta的结果，Meta显著优化了Meta的完整训练堆栈，并将Meta的模型训练推至超过 16,000 个 H100 GPU。 Meta采用了标准的仅解码器 transformer 模型架构，而不是专家混合模型，以最大化训练稳定性。Meta采用了迭代的后训练程序，每一轮都使用监督微调和直接偏好优化。 指令和聊天微调在 Llama 3.1 405B 中，Meta努力提高模型对用户指令的帮助性、质量和详细指令遵循能力，同时确保高水平的安全性。Meta的最大挑战是支持更多功能、128K 上下文窗口和增加的模型大小。 在后训练中，Meta通过对预训练模型进行多轮对齐来生成最终的聊天模型。每一轮都涉及监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO）。 Llama 系统Llama 模型一直旨在作为整体系统的一部分工作，该系统可以协调多个组件，包括调用外部工具。Meta的愿景是超越基础模型，为开发者提供更广泛的系统访问权限，使他们能够灵活设计和创建符合其愿景的自定义产品。 作为Meta持续努力在模型层之外负责任地发展 AI 并帮助他人做同样事情的一部分，Meta正在发布一个完整的参考系统，其中包括几个示例应用程序和新组件，如 Llama Guard 3（一个多语言安全模型）和 Prompt Guard（一个提示注入过滤器）。 开放性推动创新与闭源模型不同，Llama 模型权重可供下载。开发者可以完全根据自己的需求和应用定制模型，在新数据集上训练，并进行额外的微调。这使得更广泛的开发者社区和世界能够更充分地实现生成式 AI 的力量。