【Meta-Llama3】使用教程

“目前市场上最好的开源大模型”

据Meta介绍，Llama 3已经在多种行业基准测试上展现了最先进的性能，提供了包括改进的推理能力在内的新功能，是目前市场上最好的开源大模型。

在架构层面，Llama3选择了标准的仅解码（decoder-only）式Transformer架构，采用包含128K token词汇表的分词器。Llama 3在Meta自制的两个24K GPU集群上进行预训练，使用了超过15T的公开数据，其中5%为非英文数据，涵盖30多种语言，训练数据量是前代Llama 2的七倍，包含的代码数量是Llama 2的四倍。

根据Meta的测试结果，Llama 3 8B模型在MMLU、GPQA、HumanEval等多项性能基准上均超过了Gemma 7B和Mistral 7B Instruct，70B模型则超越了名声在外的闭源模型Claude 3的中间版本Sonnet，和谷歌的Gemini Pro 1.5相比三胜两负。