揭秘ChatGPT背后的AI“梦之队”
本文来自微信公众号:智谱研究(ID:zpyanjiu666),作者:智谱研究,题图来自:OpenAI官网
2022 年 11 月 30 日,OpenAI 公司(美国致力于人工智能研究的非营利机构)发布了 由大型语言模型驱动的自然语言处理工具 ChatGPT。该工具通过学习和理解人类语言,能够与用户进行高质量对话,甚至还能撰写邮件、视频脚本、文案、代码、论文和小说等。由于在同行中具有较卓越的性能,ChatGPT 推出仅 2 个多月的时间即引爆全球。除了关注 ChatGPT 性能本身外,业内人士更关注该 AI“梦之队”成员到底具有哪些特征,才促使他 们在全球大型语言模型创新技术领域如此独领风骚。?
根据 OpenAI 官网显示,为 ChatGPT 项目做出贡献的人员共 87 人①。现就该团队成员职务构成、年龄分布、教育背景、人员流动、华人成员、成员贡献、性别分布等数据进行统计分析,并总结归纳其特征。
一、职位分工:近 9 成为技术人员,高度聚焦技术研发
从 ChatGPT 团队职位分工看,研发人员共 77 人,占比 88%,其中含 1 名公司联合创 始人,即 Wojciech Zaremba(被评选为 2023 年 AI 2000②机器人领域最具影响力学者); 产品人员共 4 人,占 5%。另外,6 人职位信息无法获取。从成员职位构成看,该团队未配备技术与产品之外的职能人员(如公共关系、市场营销等人员),而是高度聚焦于技术研发。 由此可见,在数字化传播时代,一款人工智能产品只要性能足够优异,即使未配置专人做推广营销,也能在短短的一两个月时间内在全球引爆。
从 ChatGPT 团队成员毕业高校分布看,斯坦福大学校友最多,共 14 人;其次是加州大学伯克利分校,共 10 人;第三是麻省理工学院,共 7 人;我国清华大学与卡内基梅隆大学并列第 7 名,各有 3 人。该团队成员毕业人数前 10 名的高校(见下表)均有 2 人及以上人数分布,共计 54 人;排名第 10 之后的高校均只有 1 人,其中不乏全球顶尖大学, 如牛津大学、东京大学、康奈尔大学、加州大学圣巴巴拉分校等。总体看,ChatGPT 团队成员绝大部分拥有全球顶尖或知名高校学位;另外,其毕业院校相对分散,前 3 强高校只占总人数的 37%。
在 ChatGPT 团队中,有 6 人曾毕业于中国高校,其中 3 人本科毕业于清华大学,各有
1 人本科毕业于华中科技大学、北京大学/香港大学,1 人硕士研究生毕业于台湾交通大学(如下表所示)。
四、人员流动:10 人从谷歌跳槽加入,1 人曾在百度任职
ChatGPT 团队成员主要来自外部公司(81%)、高校应届毕业生(13%)、科研机构(4%)和高校教职人员(3%)等(如下图所示)。其中人数来源最多的外部企业是谷歌, 共 10 人跳槽加入;来源人数超过 2 人(含)以上的外部企业还有 Facebook、Stripe、Uber、 Quora、NVIDIA、Microsoft、Dropbox、DeepMind 等知名科技公司。
作为应届生直接 加入 ChatGPT 团队的共 11 人,其中 5 人来自加州大学伯克利分校、3 人来自斯坦福大学, 麻省理工学院、卡内基梅隆大学和哈佛大学各 1 人。可见,在 ChatGPT 团队中,不论是来自其他企业,还是作为应届生加入的人员,他们的背景都相当“豪华”。
监测发现,ChatGPT 研究员 Heewoo Jun 曾在 2015-2019 年间在百度(美国研究院, Sunnyvale, California, USA.)担任研究员,2019 年从百度离职后加入 OpenAI 担任研究员至今(如下表所示)。
到目前为止,ChatGPT团队已离职员工有4人(离职率为4.6%),他们是Jacob Hilton、 Igor Babuschkin、Matthias Plappert 和 Andrew Carr,去向分别为 Alignment Research Center、DeepMind、Github 和 Gretel.ai。可见,从 ChatGPT 团队离职的人员,并非外界想象的加入所谓“大厂”,而是仍然选择具有创新潜力的创业公司或机构。
五、华人成员:在国内完成本科学业,后赴美深造并就业
ChatGPT 团队有 9 位华人(名单见下表)。其中 5 人本科就读于中国内地的高校,3 人大学教育经历均在美国高校完成,1 人(张马文,Marvin Zhang)信息不全。梳理毕业于中国高校的 ChatGPT 华人成员成长路径发现,他们就读于中国内地顶尖高校的学习阶段均为本科,之后赴美深造,获得硕士或博士学位,然后加入美国诸如 Dropbox、OpenAI 等创新型公司。
六、成员贡献:1/4 成员参与过 codeX 研发,欧阳龙表现突出
ChatGPT 是 OpenAI 公司在大型语言模型领域多年技术积累的结果。与 ChatGPT 相 关的先前关键技术项目有 RLHF③(Reinforcement Learning from Human Feedbac,人 类反馈强化学习)、GPT1④、GPT2⑤、 GPT3⑥、codex⑦、InstructGPT⑧、webGPT⑨等 7 项。统计发现,ChatGPT 团队中,有 2 人参与了其中 4 项关键技术项目的研发,他们是高 级研究员欧阳龙和研发工程师 Christopher Hesse。他们均为机器学习领域专家。
华人欧阳 龙是 InstructGPT 论文的第一作者,是 RLHF 论文的第二作者,可见他是这两个关键技术项目的核心人员。另外,有 9 人参加了其中的 3 个关键技术项目研发。因此,上述 11 位成 员是 ChatGPT 项目的相对重要的贡献者(如下表所示)。
在上述 7 大技术项目中,ChatGPT 团队成员参与人数最多的是 codeX 项目,共有 22 人参与过,占总团队人员总数的 25%;其次是 webGPT 和 InstructGPT,共有 9 人参与过; 第三是 GPT3,共有 6 人参与过;第四是 RLHF,共有 3 人参与过。
由此可见,ChatGPT 团队成员在生成式预训练语音模型领域有较深厚的技术积累,特别是 1/4 团队成员曾参与过同样基于 GPT3 的 codeX 项目的研发经验,对之后成功研发 ChatGPT 打下了坚实的基础。
七、性别特征:团队由男性主导,女性仅占 1 成
从性别分布看,ChatGPT 团队中有女性 9 人,仅占总数的 10%;男性共 78 人,占
90%。由此可见,男性是该团队的主导,女性成员占比较低。
该 9 位女性成员中,有 2 位是华人,即曾就读于北京大学的翁丽莲,以及 Steph Lin。分析发现,9 位女性成员均拥有世界名校教育经历;另外,除了翁丽莲和 Katarina Slama 外,其他均为“90 后”。“名校”和“年轻”是她们身上显著的标签。
八、2023 年“AI 2000 学者”入选情况:5 位顶尖学者入选
AMiner 每年推出“AI 2000 全球人工智能学者”名单,该名单评选全球人工智能 20 个细分领域前 100 名最具影响力学者。统计发现,ChatGPT 团队成员有 5 人入选今年“AI 2000 全球人工智能学者”,他们是 OpenAI 联合创始人 Wojciech Zaremba(机器人,第 10 名);ChatGPT 研究员 Lukasz Kaiser(机器学习,第 10 名);OpenAI 联合创始人、 ChatGPT 研究科学家 John Schulman(机器学习,第 41 名);ChatGPT 研发工程师 Tomer Kaftan(数据库,第 52 名);ChatGPT 研究科学家 Barret Zoph(机器学习,第 95 名)。?
在 ChatGPT 不足百人团队中,即有 5 人属于全球人工智能各领域顶尖学者,其中 2 人为 OpenAI 联合创始人,2 人分别被评为机器人(Wojciech Zaremba,OpenAI 联合创始人)和机器学习(Lukasz Kaiser,ChatGPT 研究员)领域最具影响力学者。可见, 技术型顶尖学者对创新型团队的引领作用至关重要。
九、启示与建议
根据以上分析所获相关启示,就国内人工智能前沿技术发展提出以下建议:?
1. 注重科技兴趣和信仰培育,鼓励优秀年轻人投身于前沿技术创新浪潮
OpenAI 是一家非营利的人工智能研究机构,其 ChatGPT 团队的显著特征是“年轻” 和“优质”。一个平均年龄仅 32 岁的 87 人团队,就能够引爆全球新一轮人工智能技术浪 潮,其背后是团队成员对人工智能技术的兴趣和信仰,以及对技术创新和研发的全心投入。 国内不缺乏如 OpenAI 一样的年轻优秀人才,若能更加注重对其科技兴趣和信仰培育,鼓励其心无旁骛地投身于前沿技术创新,我们就能在全球科技竞争中处于不败之地。
2. “大厂”前沿科技创新疲态显现,鼓励年轻人将目光投向创业公司
本次 OpenAI 不足百人的团队推出的大型语言模型 ChatGPT,让谷歌、Meta 包括国内的阿里、百度等“大厂”感到压力巨大,它们纷纷跟进上马类似项目。“大厂”因其创新机制、组织文化等相对固定,因而在本次大语音模型创新浪潮中疲态尽显。今后,正如 ChatGPT 一样,更多的突破性创新技术会来自创业公司。因此,鼓励国内有志投身前沿科技创业的年轻人,把目光投向更具创新潜力的创业公司。
3. 海外华人学者是全球科技创新的重要力量,鼓励加强对外学术交流
在全球人工智能前沿领域,华人学者是一支重要的科技创新力量。海外华人学者是中外学术交流的重要桥梁。本轮 以ChatGPT 为代表的基于大型语言模型的 AIGC 技术发展速度,令国内某些业界人士感到“惊讶”。对外学术交流的重要性在于,能够比较实时、准确感知和把握全球前沿技术发展的脉搏和趋势。在全球疫情走向尾声之际,鼓励国外顶尖学者走进 来,国内学者走出去,对促进国内前沿科技创新发展具有重要意义。
本文来自微信公众号:智谱研究(ID:zpyanjiu666),作者:智谱研究