前特斯拉AI负责人Karpathy开源中型GPT开发库NanoGPT
前特斯拉AI负责人Karpathy开源中型GPT开发库NanoGPT，minGPT升级版，代码简单、使用高效。
为让资源有限的研究者也能体验大模型，前特斯拉 AI 负责人 Andrej Karpathy 基于 PyTorch，用 300 行左右代码开发了小型 GPT 训练库 minGPT。时隔两年，Karpathy 上线其新版本 NanoGPT，用于训练和微调中型大小的 GPT。
NanoGPT 当前可在 OpenWebText 数据集上重现 GPT-2，而在新文本上微调只需较少时间；NanoGPT简单高效，训练和加载模型脚本仅约300行代码，在单个A100（40GB）上训练一晚损失约3.74。
版权声明：除特殊说明外，本站所有文章均为 字节点击 原创内容，采用 BY-NC-SA 知识共享协议。原文链接：https://byteclicks.com/45377.html 转载时请以链接形式标明本文地址。转载本站内容不得用于任何商业目的。本站转载内容版权归原作者所有，文章内容仅代表作者独立观点，不代表字节点击立场。报道中出现的商标、图像版权及专利和其他版权所有的信息属于其合法持有人，只供传递信息之用，非商务用途。如有侵权，请联系 gavin@byteclicks.com。我们将协调给予处理。
赞
