OpenAI gpt-realtime 登场：让 AI 语音对话告别延迟

OpenAI 发表最新语音模型 gpt-realtime 及 Realtime API 重大更新。体验前所未有的低延迟、高拟真度和多模态互动，支持 SIP 通话、图片输入，并大幅降价 20%，为开发者与企业打造次世代语音助理开启新篇章。

你是否也曾受够了那些听起来像机器人、反应慢半拍的 AI 语音助理？那种延迟感和僵硬的语调，总是在提醒你“这不是真人”。老实说，那样的体验距离流畅的“对话”还差得远呢。

不过，这个时代可能要正式宣告结束了。

OpenAI 在 2025 年 8 月 28 日投下了一颗重磅炸弹，正式推出其至今最先进的语音对语音模型——gpt-realtime，并同步全面开放 Realtime API。这不仅仅是一次常规更新，更像是一次彻底的革命，旨在让开发者和企业能够打造出真正可靠、可用于实际生产环境的语音 AI 代理。

这意味着什么？简单来说，我们离电影《云端情人》中那种自然、即时、富有情感的 AI 互动，又近了一大步。

不只是对话，而是“交谈”：gpt-realtime 的核心突破

过去的语音 AI，大多遵循一个传统流程：语音转文本 (Speech-to-Text)，处理文本，再将文本转回语音 (Text-to-Speech)。这个链条不仅冗长，还会在转换过程中遗失许多说话时的细微情感和语气。

gpt-realtime 彻底颠覆了这个模式。

它采用一个单一的端到端模型，直接处理和生成音频。这就像从看着别人转述故事，变成直接听故事本人娓娓道来。这种架构带来的好处显而易见：

• 极低的延迟： 对话几乎没有延迟，反应就像真人一样迅速。
• 保留语气细节： 能够捕捉并重现说话时的语气、情感和节奏，让声音听起来更自然、更具表现力。
• 全新的声音： 此次更新还带来了两种专为 Realtime API 设计的全新声音——Cedar 和 Marin，让声音选择更多元。

它真的“听懂了”：智慧与理解力的飞跃

一个好的对话伙伴，不只要说得好听，更要听得懂。gpt-realtime 在智慧和理解力方面展现了惊人的进步。

它现在能够：

• 捕捉非语言线索： 像是对话中的笑声，模型能理解这是情绪的表达，而不只是噪音。
• 适应语气： 开发者可以下达更细腻的指令，例如要求模型以“活泼专业”或“温和有同理心”的语气说话。
• 无缝切换语言： 即使在一句话中夹杂不同语言，模型也能流畅应对。
• 精准识别复杂信息： 在辨识电话号码、车辆识别码 (VIN) 等字母数字序列时，准确率大幅提升，甚至在西班牙语、中文、日语和法语等语言中也有出色表现。

数据会说话。在衡量推理能力的 Big Bench Audio 基准测试中，gpt-realtime 的准确率高达 82.8%，远超前代模型的 65.6%。这证明它不仅是“学舌”，而是真正具备了更强的理解和推理能力。

指令精准执行，工具调用更聪明

对于开发者而言，最关心的莫过于模型是否“听话”。gpt-realtime 在遵循指令方面进行了重点优化，即使是微小的指令也能被精准捕捉和执行。

更重要的是，函数调用 (Function Calling) 功能也变得更强大。一个能干的语音助理，必须懂得在适当的时机调用正确的工具来解决问题。gpt-realtime 在这方面进行了三大改进：调用相关函数、在适当时机调用、以及使用正确的参数调用，整体准确率显著提高。

最令人兴奋的是 异步函数调用 (asynchronous function calling) 的原生支持。这解决了一个长期以来的痛点：当 AI 需要时间查找资料时，对话不必再陷入尴尬的沉默。现在，模型可以在等待结果的同时，继续与用户流畅地对话，让互动体验不中断。

让开发更简单：Realtime API 的杀手级新功能

讲了这么多模型的厉害之处，那开发者实际上能用到哪些新工具呢？这次 Realtime API 的更新带来了几个杀手级功能。

远程 MCP 服务器支持

这让扩展语音代理的能力变得前所未有的简单。开发者只需将 API 指向一个远程 MCP 服务器的 URL，就能自动处理工具调用，无需手动进行繁琐的整合。想增加新功能？换个服务器地址就行了。

图片输入：让 AI 看见你所见

这是一个改变游戏规则的功能。现在，用户可以在语音或文本对话中加入图片、照片或屏幕截图。这让 AI 的对话能够基于真实的视觉信息。

你可以问它：

• “你看到了什么？”
• “帮我读一下这张截图里的文字。”

系统会将图片视为对话中的一张照片，而不是实时影像串流，这让开发者可以完全控制模型“看见”什么以及何时回应。

SIP 支持：直接连通电话网络

会话发起协议 (Session Initiation Protocol, SIP) 的支持，意味着你可以将 AI 语音代理直接连接到公共电话网络、企业交换机 (PBX) 或其他 SIP 端点。这为打造企业级的 AI 客服中心、自动应答系统等应用铺平了道路。

可重用提示 (Reusable Prompts)

开发者现在可以保存和重复使用由开发者消息、工具、变量和范例组成的提示，大幅简化开发流程，提高效率。

安全、隐私与更亲民的价格

技术越强大，责任也越重大。OpenAI 强调 Realtime API 内建了多层安全保障机制，并会主动侦测违反内容政策的对话。同时，API 使用默认的语音，以防止恶意行为者冒充他人。对于欧洲用户，该 API 完全支持 欧盟数据驻留 (EU Data Residency) 规定。

最后，也是大家最关心的——价格。 好消息是，功能更强大的 gpt-realtime 降价了 20%。

• 音频输入： 每百万 token 32 美元
• 音频输出： 每百万 token 64 美元

此外，API 还增加了更精细的对话上下文控制功能，让开发者可以智能地设定 token 限制，从而显著降低长时间对话的成本。

结论：语音互动的未来已来

gpt-realtime 和全新的 Realtime API 不仅仅是技术的演进，它们正在重新定义我们与 AI 互动的方式。从房地产导览（正如 Zillow 正在探索的应用），到个人助理和互动式教育，一个更自然、更高效、甚至更有趣的语音 AI 时代已经到来。

对于开发者来说，现在无疑是探索和创新的最佳时机。亲身体验这个新模型的威力，开始打造属于你的次世代语音应用，将不再是遥远的梦想。

更多信息: https://openai.com/index/introducing-gpt-realtime/