Tavus 发布面对面交互模型 Griffin 称其为首个通过实时视频图灵测试的模型
原文链接: https://www.tavus.io/griffin 来源: Tavus Research 发现于: 小互 · AI 解读站 · 2026/10/2 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)
加利福尼亚州旧金山
2026年10月1日
作者:Hassaan Raza,联合创始人兼首席执行官
Ioannis Patras,研究主管
Tavus 研究团队
今天,我们推出 Griffin,这是我们的首个人类交互模型(HIM)。HIM 是一类新型模型,旨在理解并生成面对面的实时人类交互。它们边听边说,关注表情和停顿,而不仅仅是文字。
Griffin 建立在我们早期关于实时感知、对话和富有表现力的人形视频研究基础之上。它将这些模型能力整合到一个统一的视频到视频系统中。
Griffin 是首个通过实时视频图灵测试的模型。在一项现场研究中,与 Griffin 对话的参与者中有 48% 认为自己在与真人交谈。此前的系统(包括 Tavus 自身业界领先的对话式视频界面,由 Phoenix 4.5、Sparrow-2、Raven-1 驱动)的最高通过率仅为 2%。这代表了人机理解领域的巨大突破,而这一切只有通过 Griffin 的视频到视频双工方法才能实现——该方法集成了视听生成、动作、对话建模于一体,并实时运行。
Griffin-Lite 作为研究预览版,现已面向部分早期测试者开放,后续将更广泛地发布更强大的模型。本文涵盖 Griffin 的能力、构建方式、评估方法、安全策略以及未来规划。
01
人本计算
来自 Hassaan 的寄语:
人类在进化上被设计为面对面交流。我们通过言语表达,同样也通过表情、语调、手势和时机来传达信息。人类交流中很大一部分是非语言的。这是一门艺术,一场舞蹈。
机器不理解这门艺术。它们要求我们去适应它们,学习它们的语言——正确的命令、正确的点击、正确的提示词。
在 Tavus,我们相信一个机器适应我们的未来。机器学会以我们最轻松的方式进行交流。它们学会像我们一样看、听、回应,甚至看起来像我们。实际上,我们希望计算变得无形。我们希望它成为第二天性。
在一场精彩的对话中,你不会花时间评估其机制。你思考的是想说什么、听到和看到什么,最终对话自然流畅。在精彩的对话中,你根本不会去想对话本身。
而面对机器时,这些机制会分散注意力,需要你投入精力。
它听到了吗?它理解我了吗? 你分享了一些私密或困难的事情,而那张脸依然微笑着,或者那张无表情、冰冷的机器脸呆在那里,然后用单调的声音回应“很遗憾听到这个”。你停下来整理思绪,它却跳出来对不完整的上下文做出回应。它需要时间回答,但它的表情、声音或手势中没有任何迹象表明它正在处理回复。
这些时刻中的每一个,都是你在管理机器。你调整自己的节奏,简化语言,确保在说话前想好完整的意思。你提醒自己:不要留空档!记得要非常清楚自己想要什么!你降低期望。这个系统,尽管拥有所有智能,可能能够完成无数不可思议的工作。它甚至能发现新的数学定理!然而,为了获得简单事情的帮助,你需要付出的努力却超出了你的承受范围。
人类交流是一门艺术,一场舞蹈。在正确的时间做出正确的动作。深刻理解你的意思,尽管词语本身可能有多重含义。一个点头表示理解。一个表情无需言语便传达一切。
这些都是我们作为人类无需思考就能做到的事情。这些信号让你的注意力停留在对话本身,而不是如何进行对话。当机器在表达和理解这些信号方面变得更加连贯时,与它交流也将成为一件无需思考的事情。
02
介绍 Griffin:首个人类交互模型
Griffin-Lite 是我们首个人类交互模型的预览版:一种全双工视频到视频模型,能够实时响应人类行为。感知、决定何时以及如何回应、表达性语音和视频生成,所有这些同时发生。 一次对话,两套系统重播跳过基于轮次的系统它等你说完,然后思考,然后说话。你AIGriffin它从不停止思考。每隔不到一秒的微轮次,它都会决定是开口说话、做出反应还是等待,同时它一直在倾听和观察。你说话思考看到1234
- 1当你在说话时,它会说“嗯哼”。
- 2它回答时不会留下尴尬的沉默。
- 3一旦你插话,它会立刻停下。
- 4它会对看到的东西做出反应。
此图中的时间线仅为示意,并非来自真实会话。 03
能力
为了展示实际效果,我们邀请了从未使用过 Griffin 的用户与 Tavus 研究人员进行开放式对话和简短演示。 悬停播放片段。点击开启声音。行为与情感建模
行为与情感建模
Griffin 学会了根据对话语境表达行为、情感和手势。它会笑,改变语气,并根据对方说的话和做的事情做出调整。 Rudy 升职了Brittney 与七叶树队片段:好消息
Rudy 告诉 Vanessa 他被提升。她在他说完之前就做出了反应,两人有一瞬间互相抢话,但并未失去话题线索。 全场景生成
全场景生成
Griffin 从一张参考图像实时生成每一帧的每一个像素。它控制整个场景,不仅包括面部、手臂和手指,还包括人所坐的椅子的移动、投下的阴影以及身后的背景。 Mars 玩 Simon SaysBrittney 玩 Simon Says片段:Simon 说
与 Mars 玩一轮 Simon Says。只有当对方说“Simon says”时,Griffin 才会复制手势;当对方没说时,它会揭穿其虚张声势。每一个动作(包括身体和背景)都是当场生成的。 全双工对话
全双工对话
Griffin 持续评估对话状态,并独立于对话轮次。它可以打断、调整、私下传递信息,或者被中断而不会丢失自己的位置。 Ari 讲一个故事Mars 聊一次约会片段:故事时间
Ari 和 Griffin 一起编故事,互相抢话,而 Griffin 跟上了每一个转折。 感知
感知
Griffin 将对话提升到超越语言理解的程度,在适当的时候嵌入并响应视觉语境和意识。 Ari 解魔方Mars 展示一只孔雀Brittney 看起来很舒适片段:魔方教练
Griffin 指导 Ari 解魔方。它观察他转动魔方,在他操作时持续认可他,当他在解谜中途停顿下来时,它会等待直到他准备好。 时序理解
时序理解
Griffin 将时间理解为对话的一部分:沉默持续了多久、持续沉默意味着什么、以及在何时自行开口说话。 Sagar 焊接电路板片段:焊接
Sagar 在 Griffin 的指导下焊接主板。它会跟踪时间和他当前的工作进度,并在需要进行下一步时主动开口,而不是在他安静下来时就说话。 04
技术方法:构建全双工、视频到视频的交互模型
在人与人之间的交互中,感知、对话决策和生成处于持续的相互作用中,我们围绕同一原则设计了 Griffin。我们方法的核心是一个直接控制语音和非语言行为的对话模型,以及流式语音和视频生成器,它们会跟随模型决策的变化而执行。Griffin 是一个由两部分组成的系统:
- 一个连续对话建模引擎,负责感知输入的音频和视频,决定何时以及如何回应,并产生信号以确定应该说什么以及如何说。
- 一个音视频生成引擎,由流式语音生成和流式视频生成架构组成,分别将这些信号转换为语音和视频。
Griffin 是一个两部分系统。连续对话建模引擎感知输入的音频和视频,决定何时以及如何响应,并产生决定说什么和怎么说的信号。一个由流式语音生成和流式视频生成架构组成的视听生成引擎将这些信号转换为语音和视频。感知、决策和生成在对话过程中同时运行,因此模型可以在说话时以及听取时对变化做出响应。
感知、决策和生成在对话过程中同时运行,因此模型可以在说话时以及听取时对对话中的变化做出响应。
04.1 / 系统概述 对话建模摄取用户的音频和视频,并随着进程发出富有表现力的控制信号。一个流式生成器将这些控制信号随着它们的到达,一并转换为语音、面部、注视和手势。当 PAL 说话时,感知从不停止。 AudioVideoControls
You Your audioYour video audio + video Griffin ContinuousConversational modelingReassesses the exchange every sub-second mini-turnlistendecideact controls StreamingSpeech + video generationVoice and face, driven by the same controlsvoicefacegaze audio + video PAL PAL audioPAL video ↺ 感知是持续不断的,即使当 PAL 说话时 控制信号承载时机、姿态、表情和手势;任何部分都不会等待一个轮次结束才行动。
为什么这很重要。 由于对话模型直接驱动语音和视频,在句子中间做出的决定(暂停、移开视线、微笑、打断)会在同一个亚轮次内体现在语音和面部上,而不是在不同系统之间交接之后。
系统概述。连续对话建模接收音频和视频并发出富有表现力的控制信号;一个流式生成器将这些控制信号随着它们的到达一并转换为语音、面部表情、注视和手势。
连续对话建模:(对话)智能、感知与控制
Griffin 以规律的亚秒间隔做出对话决策,而不是每轮次一次。在每个间隔中,它评估对话状态,包括已说的内容以及用户的语言和非语言行为,并决定接下来要说什么以及怎么说。这与级联系统不同,后者依次串联语音识别、语言模型和语音合成,并且等待用户说完才开始响应。
输出控制不仅包括说什么,还包括如何传递语音以及模型如何非语言地表现,包括情绪基调、姿态、面部表情和手势。由于这些决策是持续做出的并基于上下文决定,模型可以根据所说话的内容而不是音频停止时机来夺取或让出轮次,因此思考时的停顿不会被当作轮次的结束。同样的机制让模型可以在用户说话时点头表示同意,在自然的时机进行反向通道和确认,并根据用户的语音和非语言行为调整其响应的情感内容。
此外,Griffin 不仅感知音频,还感知视频,而大多数交互系统仅感知音频。视觉输入让模型能够读取用户的非语言交流信号,如注视和面部表情,同时也让模型能够访问用户的环境以及用户选择共享的视觉素材,例如他们的屏幕。
下图对此进行了说明。
04.2 / 基于轮次 vs 全双工 级联系统等待你停止说话,然后将你的话语通过多个独立模型传递后才会体现在面部。Griffin 从音频和视频中以规律的亚秒间隔评估对话状态,并且可以在你还在说话时点头、进行反向通道或开始回应。 SpeechControlWaiting
阅读图示。 Griffin 行上的刻度是亚轮次。在每个亚轮次中,模型根据它所听到和看到的内容决定是保持安静、发出信号(点头或表情)、进行反向通道,还是夺取轮次。时间线仅为示意;下面的交互式演练详细展示了决策过程。
连续对话建模。每隔不到一秒的时间间隔,Griffin 评估对话状态,包括已说的内容以及人的言语和非言语行为,并决定接下来要说什么以及怎么说。它同时感知音频和视频,并发出用于情绪姿态、面部表情和手势的控制信号,以驱动语音和视频模型。
04.2 / 全双工对话模型
模型在亚秒级间隔做出的决策
暂停重新开始
PAL system prompt
你的视频
你的音频
全双工连续对话建模系统
持续监听:实时处理音频和视频,不间断。
轮转:说话 / 保持 / 让出:自然决定何时说话、保持或让出话语权。
打断处理:继续 / 暂停 / 停止:响应用户的打断或变化。
反馈信号与非语言线索:生成自然的认可、表情和手势。
说话时积极倾听:在说话的同时持续倾听和理解。
低延迟流式协调:实时对齐音频、视频和对话流。
T+0.0秒 聆听
你 语音/静音 控制信号
说明性交流。在每个亚秒间隔,模型读取你说了什么、如何说的以及它能看到什么,然后决定说什么(或保持沉默),并发送一个控制信号来塑造面部和声音。
对同一循环的图解说明。在规律的亚秒间隔内,对话模型会在对方仍在说话时重新评估交流,决定是说、保持安静还是行动,并产生话语以及情感、表情和手势的控制信号,语音和视频模型立即执行这些信号。
发送出的输出被转换为流式音频输出,并与流式控制信号一起驱动视频生成,如下所述。
快速且富有表现力的流式语音生成
04.3 / 流式语音生成
一个快速的自回归扩散Transformer(VDiT)以编码的说话人前缀为条件,随着来自对话模型的控制信号到达,逐步生成潜在语音。一个因果解码器发出小至10毫秒的音频包,因此PAL在句子结束前就开始说话。
音频 / 潜在表示 控制信号 尚未生成
输入
说话人前缀(10秒片段,编码一次)
控制信号(一次一个迷你轮次)
生成
自回归扩散Transformer(VDiT)
下一潜在帧,以前缀和迄今为止的一切为条件
潜在语音 · 100帧/秒
解码
Tavec解码器
完全因果
无前视,无码本。包小至10毫秒。
10毫秒包
播放(在生成继续时运行)
生成
播放
第一个包在第二帧生成之前就开始播放。
为什么重要。 因为模型从不等待完整句子,所以话语中途到达的控制信号(语气变化、犹豫)会反映在后续帧中,而不是下一个回复中。说话人前缀允许从短至十秒的片段克隆声音。
流式语音生成。一个快速的自回归扩散Transformer(VDiT)以编码的说话人前缀为条件,随着来自对话模型的控制信号到达,逐步生成新语音的潜在表示。生成和播放并发进行:每块新的潜在表示一可用就送入解码器,因此语音在完整话语存在之前就开始了。
Griffin-Lite 的语音生成以对话级延迟产生高质量语音,并能从约10秒的音频中克隆说话人的声音。该模型是一个快速的自回归扩散Transformer。它以参考片段的编码为前缀,并随着来自对话模型的输出和控制增量到达,逐块地渐进生成潜在语音,而不是等待完整话语。
紧凑型连续编解码器
04.3 / Tavec 编解码器 Tavec 是一种卷积自编码器,可将 48 kHz 音频映射为连续潜变量:每帧 40 个值,每秒 100 帧,无需码本。其解码器完全因果,因此音频可在帧生成后立即流式播放。 音频 / 潜变量模型
输入 波形 · 48 kHz每秒 48,000 个样本
编码器卷积压缩时间和细节,每 10 毫秒帧输出 40 个数值
潜变量 每帧 40 个值 × 每秒 100 帧 →连续值,无需码本查找
解码器完全因果每帧以 48 kHz 音频流式输出,无前瞻 48 kHz输入输出采样率40 × 100每帧值数 × 每秒帧数6,000每分钟潜变量帧数
为何重要。 一个紧凑的连续潜变量对语音 Transformer 来说预测成本低廉,且无需离散 token 瓶颈,这使得 VDiT 能够以超实时速度生成帧,同时因果解码器直接播放这些帧。 紧凑型连续编解码器。Tavec 是一种卷积自编码器,可将 48 kHz 音频映射为紧凑的连续潜变量:每帧 40 个值,每秒 100 帧,无需码本。其完全因果解码器跨数据块携带状态,将流式潜变量转换为无缝波形,音频数据包可小至 10 毫秒。
Griffin 的语音生成速度和保真度始于其声音表示方式。它依赖 Tavec,一种卷积自编码器,将 48 kHz 音频映射为紧凑的连续潜变量:每帧 40 个值,每秒 100 帧,无需码本。其完全因果(可流式播放)解码器跨数据块携带状态,将流式潜变量转换为无缝波形,音频数据包可小至 10 毫秒。
这种连续表示支持直接的基于回归的流匹配和完全可微的音频流水线,无需量化器梯度近似。其紧凑性也使得长序列易于管理:一分钟的语音对应 6,000 个潜变量帧,而原始音频则为 288 万个样本。
Griffin:快速且富有表现力的流式视频生成
Griffin 音视频生成系统的另一面是快速基于扩散的生成架构。之前的 Tavus 模型依赖大量的 3D 先验,这限制了其表达能力:复杂、类人的行为(如手势和大幅身体姿态)以及动态背景都无法实现。
我们构建它以满足三个要求:
- 快速响应每个传入的音频块和富有表现力的控制
- 处理快速变化的控制
- 在长时间生成中保持视觉质量、唇形同步和身份一致性
自回归潜变量视频模型通常至少会在其中一项上妥协。我们最终采用的架构能够以实时方式,一次生成一个潜变量,以 320 毫秒的数据块生成 720p 视频,并接受流式控制,让对话模型能够指导非语言行为,例如做手势、看向别处或改变情绪。
04.4 / 流式视频生成 一个少步自回归生成器接收参考照片、流式音频和流式控制,每步生成一个视频潜变量。VAE 将时间压缩 8 倍,因此在 25 fps 下,一个潜变量对应 320 毫秒的 720p 视频,这使 token 数量足够少,从而能够实时运行。 视频 / 潜变量音频控制
输入 参考图像单张用户照片 流式音频来自语音生成 流式控制手势 · 视线 · 情绪
生成 少步自回归生成器每个潜变量 3 步扩散关注压缩的历史,预测下一个潜变量← 更旧、更压缩 · 现在 · 下一个 →较旧的潜变量以较低分辨率保留,因此长序列保持低成本
解码 VAE 解码器8 倍时间压缩一个潜变量 → 八帧720p · 320 毫秒数据块解码后立即播放 一个潜变量 = 25 fps 下的 8 帧 = 320 毫秒。每秒更少的 token 是实现实时的关键。
为何重要。 强时间压缩使得扩散模型足够快以跟上对话节奏,而流式控制则允许对话模型将手势、一瞥或情绪变化引导到下一个数据块中。 流式视频生成。一个少步自回归扩散生成器接收参考图像、流式音频和流式控制,每次生成一个潜变量。VAE 将视频在时间上压缩 8 倍,因此在 25 fps 下每个潜变量覆盖 320 毫秒;Griffin-Lite 以实时方式生成 320 毫秒数据块的 720p 视频。
为了构建它,我们将一个大型、双向、多步扩散模型蒸馏为一个少步自回归生成器。该生成器以参考图像连同流式音频和控制信号为输入,每次生成一个潜变量。蒸馏分三个阶段进行。首先,我们使用分布匹配蒸馏将教师模型蒸馏为少步学生模型。该学生模型速度快,但不具备自回归特性;它一次性生成整段长视频作为单个长块。其次,我们通过教师强制将其转换为自回归模型,从而获得一种能够在少步内每次生成一个潜变量的架构。第三,我们使用自强制进行训练,以便能够执行长自回归式 rollout 而不会发生漂移,并添加了一个作用于历史帧(模型继续生成所依据的先前生成的帧)的机制,以提升稳定性。
04.4 / 三阶段蒸馏 Griffin-Lite 最初是一个大型、双向、多步扩散模型。通过三个阶段,它被转化为一个少步自回归生成器,该生成器以参考图像加上流式音频和控制信号为输入,每次生成一个潜变量,且不会在长时间对话中发生漂移。 扩散步数 / 正在生成的潜变量
开始 教师模型双向、多步扩散数十步同时看到整个片段。高质量,但速度过慢。 1 第一阶段后少步学生模型,整个视频在一个块内几步完成速度快,但不支持流式:仍然需要完整片段。 2 第二阶段后自回归,逐块生成每个潜变量几步从其已生成的帧继续生成。 3 部署 第三阶段后长 rollout,无漂移几步 · 实时在其自身历史帧上训练。
阶段1:分布匹配蒸馏将教师模型蒸馏为少步学生模型。速度快,但仍一次性生成整个视频。 阶段2:教师强制 → 自回归将少步模型转换为每次生成一个潜变量,每个潜变量以之前生成的帧为条件,从而实现流式。 阶段3:自强制模型在其自身生成的历史帧上进行训练,使长自回归 rollout 保持稳定,并添加了一个作用于历史帧(模型继续生成所依据的帧)的机制,以提升稳定性。
结果。 一个生成器,能够实时生成 720p 分辨率、每块 320 ms 的视频,并接受多模态流式控制,使对话模型能够精细控制非语言行为,而不仅仅是音频主导的行为。 三阶段蒸馏。一个大型、双向、多步扩散模型通过分布匹配蒸馏被蒸馏为少步学生模型,随后通过教师强制转换为自回归模型,最后使用自强制进行训练,以执行长自回归 rollout 而不发生漂移。05
Griffin-Lite:评估与基准测试
在此预览之前,我们对 Griffin-Lite 进行了不同层面的评估,从单个组件到实时对话:
- 视频生成器自身,与已发表的流式扩散模型对比,评估延迟、视觉质量和唇形同步
- 完整系统在 VideoFDB(NVIDIA 领先的全双工音视频对话行业基准测试)上的表现,该基准测试衡量模型如何读取人的行为以及如何回应
- 完整系统在实时一分钟视频通话中的表现,通话对象并不知道自己正在与模型对话
视频生成
我们将 Griffin-Lite 的视频生成器与四个已发表的流式扩散模型在音频转视频场景下进行比较,每个模型获得语音和参考图像,需要生成说话人脸。
Griffin-Lite 每次生成一个潜变量,不等待未来音频,因此从音频片段到达至其在屏幕上产生效果之间的延迟很小。在 H100 上,这一延迟平均为 0.43 秒,是次快方法的一半。在对话中,这显著缩短了当人打断或需要点头时面部做出反应之前的延迟。
如下图所示,深色条表示不同模型生成其能生成的最小视频块所需时间,粉色表示播放一个视频块所需时间。图中标出了每个模型的最佳平均延迟和最差情况延迟。
05.1 / 音频到视频延迟
真正的音频到视频延迟是指从接收音频到视频显示出该音频效果的时间。Griffin-Lite 生成单个 latent,无需前瞻音频,这带来了大部分优势:在 H100 上平均为 0.43 秒,是次快方法的一半。
Griffin-Lite已发布的流式扩散模型
Griffin-Lite单个 latent · 无前瞻0.50× 最强的已发布基线流式扩散 · 最先进技术1.00×
00.25×0.50×0.75×1.00×真正的音频到视频延迟,相对于最强基线 · 越低越好 带来的好处。 更快的响应、更快的打断、更好的时机反馈以及更自然的非语言行为。在音频到视频生成模式下,与已发布的最先进流式扩散模型进行测量。
真正的音频到视频延迟,即从接收音频到视频显示其效果的时间,Griffin-Lite 与四种已发布的流式扩散模型对比。Griffin-Lite 生成单个 latent,无需前瞻音频,在 H100 上平均为 0.43 秒,是次快方法的一半。
Griffin-Lite 在视觉质量上也获得了最高分。它在 DOVER 和 FID(视频质量的两个标准度量)以及 THEval(一个最近发布的专为说话人头像构建的框架)上领先所有基线。在唇音同步方面,它在 LSE-C 上排名第二,得分为 7.27。LSE-C 奖励显著的口部运动,包括超过自然程度的口部运动,而 THEval 会考虑这一点。
05.1 / 视觉质量
在音频到视频模式下,与四种已发布的最先进流式扩散模型相比,Griffin-Lite 在感知质量(DOVER)、分布保真度(FID)和说话人头像评估框架(THEval)上排名第一,在唇音同步置信度(LSE-C)上排名第二,得分为 7.27。 Griffin-Lite 排名第一排名第二
DOVER ↑感知视频质量#1 共 5 · 最佳 FID ↓帧分布保真度#1 共 5 · 最佳 THEval ↑说话人头像评估框架#1 共 5 · 明显最佳 LSE-C ↑唇音同步置信度#2 共 5 · 击败 4 个基线中的 3 个
LSE-C · 第二Griffin-Lite,得分为 7.27,领先于四个基线中的三个。为什么不是第一LSE-C 奖励显著的口部运动,包括超过自然程度的口部运动,而 THEval 会考虑这一点。 如何阅读。 箭头表示每个指标更优的方向。排名与延迟对比中使用的相同四个已发布基线进行比较;DOVER、FID 和 THEval 是成熟的说话人头像视频基准,LSE-C 仅衡量音频与嘴唇的对齐。
视觉质量和唇音同步。Griffin-Lite 在 DOVER、FID 以及说话人头像评估(THEval)框架上领先所有基线,并在 LSE-C 唇音同步上排名第二,得分为 7.27。LSE-C 奖励显著的口部运动,包括超过自然程度的口部运动,而 THEval 会考虑这一点。
全双工对话
NVIDIA 的 VideoFDB 是一个研究和行业基准,用于评估全双工视听对话的自然度和准确性。它检查模型如何响应并产生人类互动的信号,包括对话、凝视、面部表情和身体动作,同时衡量对话质量和响应时间。该基准在两个轨道上对模型进行评分:生成和感知,每个轨道有其自己的评分标准和排行榜。NVIDIA 使用已发布的指标和自己的评判者独立进行评估。
Griffin-Lite 在两个轨道上均获得最高分,超越了基准中已发布的基线(包括商业和开源系统)——并且是唯一一个同一模型在两个轨道上都被评估的案例。
生成轨道测试模型是否产生正确的行为。给定一个人的音频,它综合评估模型的语音和视频的流畅性、情感匹配度,以及非语言行为是否适合当时情境——比如与人一起笑而不是事后笑。Griffin-Lite 得分为 3.83,比次高系统高出超过 1 分,仅比人类参考值 3.92 低 0.09,其与人类表现的接近程度是任何其他被评估系统的 12 倍以上。
05.2 / VideoFDB · 生成 生成赛道评估系统自身的声音和面部表现:响应的自然度、流畅度和表现力。Griffin 比人类真值低 0.09 分,且大幅领先所有对比系统。 Griffin最强基线人类真值 VideoFDB · 生成赛道 人类真值参考录音3.92Griffin3.83Gemini 2.5 + Anam次优系统2.80 012345评分 (0-5) · 越高越好 +1.03vs 次优系统−0.09vs 人类真值62.8%接管率对齐 · 同类最佳 NVIDIA 于 2026 年 9 月完成上述评分。语言模型评委对每条响应进行 0 至 5 的评分。基线和人类参考分数公布于 NVIDIA 的 VideoFDB 排行榜。接管率 (TOR) 对齐衡量模型响应时机与预期对话行为的匹配程度。 VideoFDB 生成赛道。Griffin 获得 3.83 分(满分 5 分),领先次优模型 Gemini 2.5 + Anam (2.80 分) 1.03 分,比人类真值 (3.92 分) 低 0.09 分。基线和人类参考分数公布于 NVIDIA 排行榜。
VideoFDB 的感知赛道测试对话的另一面,即模型是否理解当下语境。给定一个人的音频和视频,它根据流畅度、对话流畅性和视觉接地性对模型的口语响应进行评分,这意味着模型是否善用所见——例如在停顿中瞥向别处,而不仅仅是根据文字做出反应。Griffin-Lite 获得 3.73 分,比最强第二名领先 0.29 分,比人类参考值 (4.20 分) 低 0.47 分,标志着 Griffin-Lite 是基准测试中评估的 15 个模型里感知能力最强的,领先排行榜上所有前沿实时模型。
05.2 / VideoFDB · 感知 感知赛道考察模型是否理解当下语境:给定一个人的音频和视频,它根据流畅度、对话流畅性和视觉接地性对口语响应进行评分,包括模型是否善用所见。 Griffin基线人类真值 VideoFDB · 感知赛道 人类真值参考录音4.20Griffin3.73MiniCPM-o 4.5最强报告基线 · 仅音频3.44Gemini 2.5 Flash NativeGoogle3.17OpenAI gpt-realtime仅音频2.97 012345评分 (0-5) · 越高越好 +0.29vs 最强报告基线−0.47vs 人类真值73.8%接管率对齐 · 同类最佳 NVIDIA 于 2026 年 9 月完成上述评分。语言模型评委对每条响应进行 0 至 5 的评分;对比系统包括 Gemini、OpenAI realtime 以及公布于 NVIDIA 的 VideoFDB 排行榜 上的开源模型。Griffin 感知音频和视频;MiniCPM-o 4.5 和 OpenAI gpt-realtime 在其仅音频配置下进行评分。 VideoFDB 感知赛道。Griffin-Lite 获得 3.73 分,比最强第二名领先 0.29 分,比人类参考值 (4.20 分) 低 0.47 分:在评估的 15 个模型中感知能力最强,领先排行榜上所有前沿实时模型。
VideoFDB 还报告了接管率对齐,衡量模型关于何时说话的决策与参考对话中时机的匹配程度。Griffin-Lite 在生成赛道得分 62.8%,在感知赛道得分 73.8%,在两个赛道上均为所有系统中最高。
面对面研究
05.3 / 面对面研究 每个方块代表一名参与者。经过与一名被告知是其他参与者的搭档进行一分钟实时视频通话后,每位参与者被问及那个搭档是否真实人类。填充方块表示回答"是"。 Griffin-Lite · 认为是真人Phoenix-4.5 + Sparrow-2 + Raven-1 · 认为是真人认为 AI
Griffin-Lite 54 名参与者
48%54 人中的 26 人 相信他们的搭档是真人。
Phoenix-4.5 + Sparrow-2 + Raven-1 先前系统 · 41 名参与者
2.4%41 人中的 1 人 相信他们的搭档是真人。
79%置信度 · 认为是真人81%置信度 · 认为是 AI<20 秒怀疑者首次产生怀疑的时间 参与者通过独立研究平台招募,被告知将与另一名参与者进行一分钟视频通话,谈论今年期待的事情。他们的搭档是运行于 Griffin-Lite 上的 PAL,实时生成其面部、声音和响应;Phoenix-4.5 + Sparrow-2 + Raven-1 运行使用相同的协议。仅在调查结束时,参与者才被问及是否曾想到搭档可能不是真人,随后每位参与者被告知那是 AI。 面对面研究。经过一分钟实时视频通话后,54 名参与者中的 26 人 (48%) 认为由 Griffin-Lite 驱动的 PAL 是真人。在 Phoenix-4.5 上,41 人中的 1 人 (2.4%) 这么认为。
定量基准很重要,但自然度的一些方面很难衡量。对于每个新模型,我们都会通过独立研究平台招募参与者开展一项研究,以了解模型在真实的实时对话中与人类的相似程度。参与者与模型进行简短的视频通话,但事先不被告知对方是什么,通话后我们会询问他们是否认为自己的对话对象是真人。到目前为止,几乎没有人回答“是”。
在 Phoenix-4.5 上,2.4% 的参与者(n=41)相信他们的对话对象是真人。而在 Griffin-Lite 上,近一半的人(54 人中有 48%)相信这是真人。据我们所知,这标志着首个通过视频图灵测试的模型里程碑。
方法
参与者被告知他们将与另一名参与者进行一分钟的视频通话,讨论他们今年期待什么。他们的对话对象实际上是由 Griffin-Lite 驱动的 PAL,实时生成其面部、声音和回应。通话后,参与者被要求写下对话对象对问题的回答,并在自然度和可信度等多个维度上对对话对象进行评分。他们还被要求对对话本身进行评分:对话的流畅程度,以及他们是否感觉对话对象真的在倾听。只有在调查的最后,参与者才被问及是否曾怀疑过对话对象可能不是真人,如果是,何时开始怀疑。然后告知每位参与者,他们的对话对象是一个 AI 模型。
结果
在 54 名与 Griffin-Lite 交谈的参与者中,有 26 人相信他们的对话对象是真人。两方的参与者都对自己的回答充满信心:认为对话对象是真人的人平均置信度为 79%,认为是 AI 的人平均置信度为 81%。
超过一半的参与者表示,在通话过程中从未产生过怀疑,而这一组中几乎所有人都认为对话对象是真人。那些产生怀疑的人通常在前 20 秒内就开始怀疑。
Griffin-Lite 在每个维度上都获得了好评。在 7 分制中,参与者平均评分为:自然度 5.4 分,可信度 5.6 分,是否愿意再次与其交谈 5.8 分(即使是被认定为 AI 的参与者中,该分数也保持在 5.4 分)。对话的评分显示:参与者感觉对方真正在倾听得分为 5.5 分,对话流畅自然得分为 4.9 分,是五项中最低的。
06
安全性、局限性与责任
鉴于 Griffin-Lite 是首个通过图灵测试的模型,我们理解需要对风险和发布策略深思熟虑,承担责任。
使人类交互模型成为人机自然交流强大界面的相同特性,也可能使其欺骗人类,让他们相信它不是 AI。
我们认为,安全发布需要进一步的对齐和安全程序,我们正在开发安全披露功能,并与致力于 AI 安全的组织合作。如果您想参与这些评估和测试,请联系我们。
Griffin-Lite 目前不会对客户开放使用,但可作为研究预览版供选定的受信任测试者使用。如需申请访问权限,您可以提交此表单。我们预计在解决这些安全问题后不久就会发布 Griffin。
07
接下来是什么
Griffin 是朝着可与之协作而非操作的计算机迈出的早期一步。随着这些模型的改进,它们可以将知识与情感理解结合起来,在人们学习、工作和寻求帮助中发挥更大的作用。
对学生而言,这可能意味着一位能注意到解释不清并尝试另一种方法的导师。对职场人士而言,这可能意味着与一位像真人一样反应的对象排练一场艰难的对话。对客户而言,这可能意味着将损坏的零件举到摄像头前,一起找出修复方法,而无需知道该零件的名称。
在每种情况下,用户无需先将自己的需求转化为正确的命令或菜单。他们可以像对另一个人解释那样进行说明,而模型能够从他们的话语、面部表情和当下情境中理解其意图。这就是我们所说的人机交互(human computing),而Griffin是我们迄今为止迈向这一目标的最大一步。
Credits
Griffin由Tavus研究和工程团队构建。感谢Baseten、Daily和Cerebrium为预览提供基础设施,感谢伦敦玛丽女王大学(Queen Mary University of London)的研究合作,以及NVIDIA构建并评分了Video Full-Duplex Benchmark。 引用Tavus Research,“Griffin: The First Human Interaction Model”,Tavus,2026年10月。
立即使用Tavus构建
Griffin尚未在Tavus平台上推出。一旦我们找到安全发布的方式,它就会到来。在此之前,您可以在已有150,000名开发者和企业使用的模型上构建PALs——一种可以面对面交谈的AI:Phoenix生成面部,Raven观察并理解您,Sparrow知道何时说话。
Tavus API将PALs构建到您的产品中通过Tavus API将实时、面对面的PALs添加到您自己的应用或网站。开始构建
PAL Maker无需代码创建PAL描述您想要的PAL,赋予它面部和声音,并在几次点击中部署到您的网站或应用。探索PAL Maker
解决方案启动为特定任务构建的PAL适用于销售、招聘、医疗和培训的生产级PAL,由Tavus与您的团队共同运营,数周内上线。查看解决方案
企业让Tavus构建自定义PAL由Tavus设计、部署和全面管理,具备大规模部署所需的安全性、可靠性和可扩展性。与真人交谈