Stability AI火速发布Llama 2微调模型FreeWilly，性能媲美ChatGPT！网友惊呼游戏规则已改变

来源：新智元

Llama 2刚发布没两天，独角兽Stability AI就已经火速微调出了FreeWilly模型，据称性能已经可与ChatGPT媲美。

Meta的Llama 2一发布，就引爆了整个开源社区。

正如OpenAI科学家Karpathy所说，对于整个大语言模型领域来说，这是极其重要的一天。在开放权重的所有模型中，Llama 2是最强大的一个。

从此，开源大模型与闭源大模型的差距将进一步缩小，构建大模型的机会，从此对所有开发者都是平等的。

就在刚刚，Stability AI和CarperAI实验室联合发布了基于LLaMA 2 70B模型的微调模型——FreeWilly2。

以及，基于LLaMA 65B原始模型微调的——FreeWilly1。

值得注意的是，模型采用了基于标准Alpaca格式，并经过监督微调（SFT）的全新合成数据集来进行训练。

在各项基准测试中，FreeWilly2都展现出了卓越的推理能力，甚至有部分任务还超过了GPT-3.5。

模型地址：

模型地址：

这两款模型都是研究实验，并在非商业许可下发布。

数据生成与收集

Stability AI表示，FreeWilly模型的训练是受到了微软论文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》的直接启发。

不过，虽然数据生成过程类似，但来源却有所不同。

论文链接：

FreeWilly的数据集变体包含有60万个数据点（大约是原始Orca论文使用的数据集大小的10%），并通过使用Enrico Shippole创建的高质量指令数据集，对模型进行了引导：

• COT Submix Original

• NIV2 Submix Original

• FLAN 2021 Submix Original

• T0 Submix Original

通过这种方法，Stability AI使用了一个较简单的LLM模型生成了50万个示例，再使用一个更复杂的LLM模型生成了额外的10万个示例。

为了进行公平比较，Stability AI精心筛选了这些数据集，并删除了来源于评估基准的示例。

尽管训练样本量仅为原始Orca论文的十分之一，但由此生成的FreeWilly模型，不仅在各种基准测试中都表现出色，而且也验证了合成生成数据集方法的可行性。

模型性能的评估

在性能评估方面，Stability AI的研究人员采用了EleutherAI的lm--harness，并加入了AGI。

从结果来看，FreeWilly在很多方面都表现出色，包括复杂的推理、理解语言的微妙之处，以及回答与专业领域相关的复杂问题（如法律和数学问题解决）。

基本上，FreeWilly 2已经实现了与ChatGPT相当的水平，甚至在有些评测上更胜一筹。

GPT4ALL基准（0-shot）：

AGI评估（0-shot）：

除此之外，来自Hugging Face的团队也在7月21日对实验进行了独立复现。

可以看到，在Open LLM排行榜上，FreeWilly 2以绝对领先的优势排在第一，平均得分比原始版的Llama 2高了4个百分点。

为了开放的未来

可以说，FreeWilly1和FreeWilly2为开源大语言模型树立了新的标准。

这两个模型的推出，不仅极大地推进了相关领域的研究，增强了自然语言理解能力，而且还支持复杂任务的完成。

Stability AI表示，团队为这些模型能AI社区带来的无限可能感到非常兴奋，并期待着那些因它们而激发出全新应用。

此外，也衷心感谢充满激情的研究人员、工程师和合作伙伴团队，是他们的卓越努力和奉献，使Stability AI能够达到这一重要里程碑。

激动人心的时刻

模型一经发布，网友「Phil Howes」就利用Tuhin Srivastava的Llama v2框架，在不到一分钟时间就完成了FreeWilly 2的实现。

经过275GB的权重加载后，模型的运行速度在开箱即用的情况下达到了23 token/s。

另外，还有网友惊呼：Stability AI和CarperAI联合推出的模型，堪称是对游戏规则的改变！

FreeWilly1和FreeWilly2在开源和性能方面具有极大的创新意义，AI圈正在迎来令人激动的时刻。

参考资料：