昨天 Meta 低调发布了 Llama 3.1，包括 8B、70B 和 405B 三个版本。

405B 是重点。这是目前最大的开源模型，性能在多个基准上接近甚至超越 GPT-4。

性能基准

官方给出的测试结果：

测试项	Llama 3.1 405B	GPT-4	Claude 3.5 Sonnet
MMLU	88.6	86.4	88.7
HumanEval	89.0	67.0	92.0
GSM8K	96.8	92.0	96.4

在代码生成和数学推理上表现亮眼。

为什么这很重要

开源模型能达到闭源顶级模型水平，意义重大：

1. 成本下降：自己部署不用付 API 费
2. 数据安全：敏感数据不用传给第三方
3. 可定制：能微调适应特定场景
4. 竞争压力：OpenAI 和 Anthropic 必须加速迭代

怎么跑起来

405B 参数量太大，普通人跑不动。但可以用量化版本：

# 使用 Ollama 跑 8B 版本
ollama run llama3.1:8b

# 或者用 70B 量化版（需要 48GB 显存）
ollama run llama3.1:70b-instruct-q4_0

8B 版本在 8GB 显存的笔记本上就能跑，效果已经很不错了。

本地测试感受

我在 3060 显卡上跑了 8B 版本：

• 响应速度：约 20 tokens/秒，可接受
• 中文能力：比 Llama 2 进步明显，基本能用
• 代码能力：简单代码补全没问题

日常学习和练手完全够用了。

总结

Llama 3.1 让"AI 民主化"这个口号更接近现实。

作为学生，我们现在可以免费用上接近顶级水平的 AI 模型。这在两年前不可想象。