ChatGPT 语音
概述
ChatGPT 语音（ChatGPT Voice）是 OpenAI 为 ChatGPT 搭载的实时语音对话功能。用户对着麦克风用自然语言说话，它便能识别语音、理解含义，并以类似人类的语调、语速和情感表达立即返回语音回复。2023 年以移动应用语音模式首次普及，2024 年经基于 GPT-4o 的“高级语音模式（Advanced Voice Mode）”重新设计后，成为 AI 语音界面事实上的标准范例。
主要内容
出现背景
此前的语音助手（Siri、Alexa、Google Assistant）采用处理既定指令的方式，在延续对话语境或进行情感交流方面存在局限。OpenAI 在 2022 年末 ChatGPT 公开后，以将文本对话的自然流畅扩展到语音为目标。2023 年 9 月，iOS 和 Android 应用新增了语音模式，其结构是依次连接语音识别（Whisper）→ 语言模型（GPT-3.5/4）→ 语音合成（TTS）的流水线。由于响应延迟长、情感表达不足的评价持续不断，OpenAI 着手进行改变结构本身的重新设计。
高级语音模式
2024 年 5 月公开的 GPT-4o 是能在单一模型中直接处理文本、图像、音频的全模态（omnimodal）模型。高级语音模式不经由将语音转为文本再合成回语音的三阶段过程，而是由模型直接理解并生成音频令牌。得益于此，平均响应延迟降至数百毫秒水平，并实现了打断（interrupt）处理、笑声与叹息等非语言反应，以及语气和情感的细微调节。2024 年 7 月面向 Plus 用户进行 alpha 发布后，9 月正式推出，此后扩展到免费用户以及团队、企业套餐。
语音种类与特点
初期语音模式提供了 Breeze、Cove、Ember、Juniper、Sky 等多种语音，但 2024 年 5 月“Sky”语音因与电影《Her》中演员斯嘉丽·约翰逊的声音相似而引发争议，最终停止使用。此后在高级语音模式中引入了 Arbor、Maple、Sol、Spruce、Vale 等新的语音组合。每种语音的音调和语速不同，用户可在设置中自由切换。
主要功能
- 实时对话：支持插话、沉默、反问等接近人际对话的交互。
- 多语言支持：可用英语以及韩语、日语、中文、西班牙语、法语等多种语言对话和翻译。
- 语境保持：用户自定义指令（Custom Instructions）和记忆也适用于语音对话，能记住此前的对话内容。
- 多模态扩展：结合摄像头和屏幕共享，可展示物品并听取说明，或请求解题。
- 情感识别：从声音的语调和语速推断说话者的情绪状态，据此调整回复语气。
应用案例
外语会话练习、移动中信息检索、提升视障人士等难以使用屏幕的用户的信息可及性、在驾驶或烹饪等双手不便时免提使用、制作客户应对原型等较为典型。面向开发者，以实时 API（gpt-realtime 系列）开放，用于呼叫中心自动化、AI 导师、陪伴型应用等。
局限与争议
语音克隆、深度伪造滥用的风险被视为代表性难题。实际上 2024 年在香港发生了利用深度伪造视频通话的大规模金融诈骗。此外，还有人对 AI 语音在情感上过度依赖的“依恋性使用”问题，以及对过度附和式回答（谄媚）的批评。OpenAI 于 2025 年公开了情感依赖相关的安全研究，并正在加强防止语音克隆的水印和利用政策。在欧盟，根据 AI 法案（AI Act），对 AI 生成语音的透明度标注义务正分阶段适用。
最新动向
2024~2025 年的变化大致分为三条主线。第一，模型与 API 开放。2024 年 10 月实时 API 公开后，2025 年新增了 gpt-realtime、gpt-4o-mini-realtime 等低延迟语音到语音模型，以及电话（SIP）接入、图像输入，大幅降低了语音 AI 开发的门槛。第二，竞争加剧。谷歌的 Gemini Live、亚马逊的下一代 Alexa 等纷纷推出类似的实时语音对话，语音界面成为生成式 AI 的基本 UX。第三，日常渗透扩大。通过车载信息娱乐系统（Apple CarPlay·Android Auto）联动、免费用户访问扩大、摄像头与屏幕共享结合等，使用场景扩大到移动、教育、工作各方面。与此同时，围绕语音钓鱼、未经授权的语音克隆、情感依赖的监管和安全机制讨论也在迅速推进。
相关主题
- [[OpenAI]]
- [[GPT-4o]]
- [[生成式 AI]]
- [[语音识别]]
- [[Gemini Live]]
- [[深度伪造]]