天天新动态：GPT-3计划开源！Sam Altman自曝急缺GPU，GPT-4多模态能力2024年开放
发布时间：2023-06-03 22:02:33
来源：创业邦
没想到，OpenAI短期工作无法推进，都是GPU太缺了！
(资料图片仅供参考)
编者按：本文来自微信公众号 新智元（ID：AI_era），编辑：桃子，创业邦经授权转载
听证会之后，Sam Altman带着团队在欧洲开启了「旅行」。
而在最近的一次访谈中，Altman也没有藏着掖着，自曝自家AI的一切进展，全得等GPU跟上了再说。
他讨论了OpenAI的API，以及产品计划，引起了许多人的关注。
许多网友纷纷表示，我喜欢Altman的坦诚。
值得一提的是，GPT-4的多模态能力，2024年应该大部分Plus用户就能上手了，前提还是有足够GPU才行。
微软老大哥斥资12亿美元给OpenAI建的超算，还远远无法满足GPT-4运行时所需的算力。毕竟，GPT-4参数据称有100万亿。
另外，Altman还透露，GPT-3也在OpenAI的开源计划之中。
不知道是不是这次采访内容透露了太多OpenAI的「机密」，源文稿目前已被删除，快点码了。
划重点
最新访谈，是来自AI开发平台Humanloop的首席执行官Raza Habib主持，采访了Altman以及其他20位开发人员。
这次讨论涉及到实际的开发者问题，以及与OpenAI的使命和AI的社会影响相关的更大的问题。
以下是关键要点：
1. OpenAI急缺GPU
2. OpenAI的近期路线图：GPT-4多模态2024年开放
3. 通过API访问ChatGPT插件近期不会发布
4. OpenAI只做ChatGPT这一「杀手级应用」，目标是让ChatGPT成为一个超级智能的工作助手
5. GPT-3在开源计划中
6. 模型性能的缩放法则继续有效
接下来，将从6大点介绍Sam Altman究竟说了啥。
OpenAI目前严重依赖GPU
采访的一切话题都是围绕，「OpenAI太缺GPU了」。
这已经拖延了他们许多的短期计划。
目前，OpenAI的许多客户都在抱怨API的可靠性和速度。Sam Altman解释道，主要还是GPU太缺了。
OpenAI是英伟达DGX-1超算首位客户
至于，支持32k tokens的上下文长度还不能推出给更多的人。
由于OpenAI还没有克服技术上的障碍，看起来他们似乎今年就会有支持100k-1M tokens的上下文，但需要在研究上取得突破。
微调（Fine-Tuning）API也目前受到GPU可用性的限制。
OpenAI还没有使用像Adapters或LoRa这样的高效微调方法，因此微调对于运行和管理来说是非常计算密集型的。
不过，未来他们将对微调提供更好的支持。甚至，OpenAI可能会托管一个社区贡献的模型市场。
最后，专用容量提供也受到GPU可用性的限制。
今年年初，网友爆出OpenAI正在悄悄推出一个新的开发者平台Foundry，让客户在专用容量上运行该公司的新机器学习模型。
这一产品就是「为运行较大工作负载的尖端客户设计」。要使用这项服务，客户必须愿意预付$100k的费用。
然而，从透露的图片信息可以看出，实例并不便宜。
运行GPT-3.5的轻量级版本，3个月的委托将花费78,000美元，一年将花费264,000美元。
从另一侧面也可以看出，GPU消耗价格不菲。
OpenAI近期路线图
Altman分享了OpenAI API的暂定近期路线图：
2023：
· 又快又便宜的 GPT-4ーー这是OpenAI的首要任务。
总的来说，OpenAI的目标是，尽可能地降低「智能成本」。因此他们将努力继续降低 API 的成本。
· 更长的上下文窗口ーー在不久的将来，上下文窗口可能支持高达100万个tokens。
· 微调 API——微调API将扩展到最新的模型，但具体的形式将取决于开发人员真正想要的是什么。
· 有记忆的API ーー目前大部分token被浪费在上文的传输中，将来会有一个能够记住对话历史的API版本。
2024：
· 多模态能力ーーGPT-4发布时曾演示了强大的多模态能力，但是在GPU得到满足之前，这一功能还无法拓展到所有人。
插件「没有 PMF」，短期内不会出现在API中
许多开发者对通过API访问ChatGPT插件非常感兴趣，但Sam表示这些插件不会很快发布。
「除了Browsing外，插件系统还没有找到PMF。」
他还指出，很多人想把他们的产品放到ChatGPT里，但实际上他们真正需要的是把ChatGPT放到他们的产品里。
除了ChatGPT，OpenAI不会发布更多产品
OpenAI的每一次动作，都让开发者们抖三抖。
不少开发人员表示，OpenAI可能发布与他们竞争的产品的时候，对使用OpenAI API构建应用感到紧张。
而Altman表示，OpenAI不会在ChatGPT之外发布更多的产品。
在他看来，伟大的公司有一个「杀手级应用」，ChatGPT就是要做这个创纪录的应用。
ChatGPT的愿景是成为一个超级智能的工作助理。OpenAI不会触及到更多其他GPT的用例。
监管是必要的，但开源也是必要的
虽然Altman呼吁对未来模型进行监管，但他并不认为现有的模型是危险的。
他认为，监管或禁止现有模型将是一个巨大的错误。
采访中，他重申了自己对开源重要性的信念，并表示OpenAI正在考虑将GPT-3开源。
而现在，OpenAI还没有开源的部分原因是，他对有多少个人和公司有能力托管，和提供大模型表示怀疑。
模型性能「缩放法则」仍有效
近来，许多文章声称，巨型人工智能模型的时代已经结束。然而，并没有准确反应Altman原意。
OpenAI的内部数据表明，模型性能的缩放法则（scaling laws）仍然有效，让模型变大将继续产生性能。
不过，缩放的速度不能维持，因为OpenAI在短短几年内已经将模型扩大了数百万倍，未来这样做将不可持续。
这并不意味着OpenAI不会继续尝试使模型更大，只是意味着它们可能每年只会增加1倍/2倍，而不是增加多个数量级。缩放法则继续有效的事实对AGI开发的时间线有重要的影响。
缩放假设是我们可能已经有了构建AGI所需的大部分部件，剩下的大部分工作将是将现有的方法扩展到更大的模型和更大的数据集。
如果缩放的时代结束了，那么我们可能应该预期AGI会更远。缩放法则继续有效强烈暗示了实现AGI时间线会变短。
网友热评
有网友调侃道，
OpenAI：必须通过法规来保护我们的护城河。还是OpenAI：Meta在我们的护城河里撒尿，让我们也暗示一下我们的模型要开源吧。
还有人称，如果GPT-3真的开源了，像LLMa一样，需要大约5天的时间在M1芯片上就能运行了。
社区开发人员能够帮OpenAI解决GPU瓶颈，前提是他们开源模型。没几天，开发者们就能让其运行在CPU和边缘设备。
GPU短缺一事，有人认为是OpenAI资金链出了问题，买不起。
然而还有人称，明显是缺乏供应。除非芯片制造业发生革命，否则相对于消费GPU来说，可能总是会出现供应不足的情况。
还有网友怀疑，英伟达的价值还是被低估？计算需求的阶梯式变化可能持续数年...
英伟达刚刚加入万亿美元俱乐部，这样说来，无限的算力需求或许会成就一个世界超越2万亿美元的芯片厂。
参考资料：
https://humanloop.com/blog/openai-plans
https://news.ycombinator.com/item?id=36141544
本文为专栏作者授权创业邦发表，版权归原作者所有。文章系作者个人观点，不代表创业邦立场，转载请联系原作者。如有任何疑问，请联系editor@cyzone.cn。
标签：
