品玩6月1日訊，據 HumanLoop 的創始人 Raza Habib 近日表示，上周他曾與 Sam Altman 以及其他 20 位開發者一起進行一次閉門討論，其中透露了一些關于 OpenAI 接下來的開發工作的內容。接下來是關鍵要點：

【資料圖】

1. OpenAI 目前受到 GPU 的嚴重限制

在整個討論過程中出現的一個共同主題是，目前OpenAI的GPU非常有限，這推遲了他們的許多短期計劃。客戶最大的抱怨是API的可靠性和速度。Sam 承認他們的擔憂，并解釋說大部分問題都是 GPU 短缺的結果。

更長的 32k 上下文還不能推廣給更多人 .OpenAI還沒有克服O（n^2）的注意力擴展，所以雖然他們很快就會有10萬-1M代幣上下文窗口（今年），但任何更大的事情都需要研究突破。

微調 API 目前也受到 GPU 可用性的瓶頸。 他們還沒有使用有效的微調方法，例如適配器或洛拉因此，微調的運行和管理非常需要計算密集型。未來將提供更好的微調支持。他們甚至可能主持一個社區貢獻模型的市場。

專用容量產品受 GPU 可用性的限制。 OpenAI還提供專用容量，為客戶提供模型的私人副本。要訪問此服務，客戶必須愿意預先承諾10萬美元的支出。

2. OpenAI 的近期路線圖

Sam分享了他認為OpenAI的API臨時近期路線圖。

2023:

更便宜更快的 GPT-4—— 這是他們的首要任務。總的來說，OpenAI 的目標是盡可能降低“智能成本”，因此隨著時間的推移，他們將努力繼續降低 API 的成本。 更長的上下文窗口—— 在不久的將來，上下文窗口可能高達 100 萬個令牌。 Finetuning API—— 微調 API 將擴展到最新的模型，但具體形式將取決于開發人員表示他們真正想要的東西。 一個有狀態的 API—— 當你今天調用聊天 API 時，你必須反復傳遞相同的對話歷史并一次又一次地為相同的令牌付費。將來會有一個記住對話歷史記錄的 API 版本。

2024:

多模態—— 這作為 GPT-4 版本的一部分進行了演示，但在更多 GPU 上線之前不能擴展到所有人。

3. 插件“沒有 PMF”并且可能不會很快出現在 API 中

許多開發人員對通過 API 訪問 ChatGPT 插件很感興趣，但 Sam 表示他認為這些插件不會很快發布。除了瀏覽之外，插件的使用表明它們還沒有 PMF。他建議很多人認為他們希望他們的應用程序在 ChatGPT 中，但他們真正想要的是他們應用程序中的 ChatGPT。

4. OpenAI 將避免與他們的客戶競爭——除了 ChatGPT

不少開發人員表示，當 OpenAI 可能最終發布對他們具有競爭力的產品時，他們對使用 OpenAI API 進行構建感到緊張。 Sam 表示 OpenAI 不會發布 ChatGPT 以外的更多產品。他說，偉大的平臺公司擁有殺手級應用程序的歷史由來已久，而 ChatGPT 將允許他們通過成為自己產品的客戶來改進 API。 ChatGPT 的愿景是成為工作的超級智能助手，但還有許多 OpenAI 不會觸及的其他 GPT 用例。

5. 需要監管，但也需要開源

雖然 Sam 呼吁對未來的模型進行監管，但他認為現有模型并不危險，并認為監管或禁止它們將是一個大錯誤。他重申了他對開源重要性的信念，并表示 OpenAI 正在考慮開源 GPT-3。他們尚未開源的部分原因是他懷疑有多少個人和公司有能力托管和服務大型 LLM。

6. 比例定律仍然成立

最近有很多文章聲稱“巨型 AI 模型的時代已經結束”。這不是對意思的準確表述。

OpenAI的內部數據表明，模型性能的擴展定律繼續有效，使模型更大將繼續產生性能。擴展速度無法保持，因為OpenAI在短短幾年內使模型大了數百萬倍，并且這樣做是不可持續的。這并不意味著OpenAI不會繼續嘗試使模型更大，只是意味著它們每年可能會增加一倍或三倍，而不是增加許多數量級。

擴展繼續起作用的事實對AGI開發的時間表具有重大影響。縮放假設的想法是，我們可能已經具備構建AGI所需的大部分部分，并且其余的大部分工作將采用現有方法并將其擴展到更大的模型和更大的數據集。如果規模化時代已經結束，那么我們可能應該期待AGI會更遠。縮放定律繼續成立的事實是強烈提示時間線較短。