Papers with Code宣布了一种新的开源大型语言模型-Galactica
Papers with Code今天宣布了一种新的开源大型语言模型，称为Galactica。在科学理解和推理方面具有优势。这种语言模型专门研究数学和科学，能够总结科学论文、生成维基文章、回答问题等等。它也是完全开源的。
Galactica的科学理解来自于它训练的数据集的创建工作。使用的数据集是通过将来自各种科学来源的信息标记化为大量标记化信息数据集而创建的。为了确保对发生的各种模式进行最佳学习（例如自然语言与数学公式与分子序列等），采取了特殊的标记化步骤，包括识别数学运算字符或标记不同类型序列的开始和结束。
此外，还实现了一个额外的特殊标记来识别分步推理的部分，这鼓励Galactica应用某种内部工作记忆，否则它将无法做到这一点。获 取 更多前沿科技?研究 进展访问：https://byteclicks.com
在的测试中，研究人员发现他们的模型在许多基准测试中表现优于可比模型（OPT、BLOOM、GPT-3和其他取决于任务的模型），并且在表现不好的地方接近于顶级模型。
有关Galactica的符号化方法如何促进科学理解的更多细节，请查看此处的完整研究论文：https://galactica.org/static/paper.pdf
Galactica由Paper with Code和Meta AI的人员创建，当然是完全开源的。
使用Galactica的步骤也很简单，只需安装一个pip和3行python代码即可加载模型并给出提示。您可以在GitHub存储库中找到如何使用Galactica：https://github.com/paperswithcode/galai
Galactica有5种大小，从2.5亿参数到1200亿参数。你可以根据自身需求下载。
版权声明：除特殊说明外，本站所有文章均为 字节点击 原创内容，采用 BY-NC-SA 知识共享协议。原文链接：https://byteclicks.com/43353.html 转载时请以链接形式标明本文地址。转载本站内容不得用于任何商业目的。本站转载内容版权归原作者所有，文章内容仅代表作者独立观点，不代表字节点击立场。报道中出现的商标、图像版权及专利和其他版权所有的信息属于其合法持有人，只供传递信息之用，非商务用途。如有侵权，请联系 gavin@byteclicks.com。我们将协调给予处理。
赞
