Vision Agents：开源框架革新实时视频AI，构建多模态智能体的终极解决方案

如果你曾尝试构建一个能够“看见”、“听见”并即时“响应”的实时 AI 系统，就会知道其技术栈有多么复杂。

视频需要一个 SDK。
语音需要另一个。
目标检测需要另一个。
大语言模型（LLM）还需要一个。

之后，你仍需将所有组件集成起来，处理延迟问题，并设法让整个系统实时运行。

Vision Agents 改变了这一切。

这是一个开源框架，旨在帮助开发者构建能够观看、聆听、理解并采取行动的多模态 AI 智能体，且具有极低延迟。

本文将介绍 Vision Agents 的功能、重要性，并通过简洁的 Python 示例引导你构建第一个实时视频 AI 智能体。

Vision Agents：开源框架革新实时视频AI，构建多模态智能体的终极解决方案

什么是 Vision Agents？

Vision Agents 是由 Stream 打造的框架，用于帮助开发者创建由以下能力驱动的实时 AI 系统：

视频与音频输入
任意目标检测模型（YOLO、Roboflow、自定义 PyTorch/ONNX 模型）
任意大语言模型（OpenAI、Gemini、Claude、xAI 等）
实时语音识别与文本转语音（STT/TTS）
基于 WebRTC 的实时视频

你可以将其视为构建智能视频体验的乐高积木。你可以自由组合：

处理器：运行 YOLO、Whisper、Moondream 或自定义模型。
大语言模型：集成 OpenAI Realtime、Gemini Realtime、Claude Messages。
音频插件：使用 ElevenLabs、Deepgram、AWS Polly 等服务的 TTS 与 STT。
边缘网络：利用 Stream 的超低延迟视频基础设施。

所有这些都在一个统一的环境中完成。

为什么 Vision Agents 很重要

当前，大多数 AI 系统仍遵循“捕获图像 → 发送到服务器 → 接收预测”的循环。这对于静态任务尚可，但对于无人机、运动指导、机器人、AR 眼镜等实时场景，延迟必须极低。

Vision Agents 为你带来：

1. 超低延迟

500 毫秒加入时间。
0 毫秒音视频延迟。
依托 Stream 的全球边缘网络。

这足以支持：
* 无人机火情检测
* 高尔夫挥杆指导
* 物理治疗动作纠正
* 屏幕引导
* 交互式“隐形助手”应用

2. 真正的多模态

你的智能体可以并行或按流水线处理：
* 视频
* 音频
* 文本
* LLM 推理
* 逐帧 ML 模型

3. 开放且可扩展

你可以使用任何提供商：
* LLM：OpenAI, Gemini, Claude, xAI
* 视觉模型：Moondream, YOLO
* 音频服务：ElevenLabs, Deepgram

你完全掌控自己的模型、基础设施和数据。

安装 Vision Agents

推荐使用快速的包管理器 uv：

uv add vision-agents

安装常用集成：

uv add "vision-agents[getstream, openai, elevenlabs, deepgram]"

你还需要一个免费的 Stream API 密钥，每月包含 333,000 个免费参与者分钟数。

构建你的第一个视频 AI 智能体（简单示例）

这是一个最小化配置示例。该智能体将：
* 实时流式传输视频。
* 使用 YOLO 检测人体姿态。
* 使用 OpenAI Realtime LLM 解读场景。
* 通过文本或语音给出反馈。

代码示例：高尔夫教练 AI

from vision_agents import Agent
import getstream
import openai
from ultralytics import YOLOPoseProcessor

agent = Agent(
    edge=getstream.Edge(),
    agent_user={"name": "CoachAI"},
    instructions="Read @golf_coach.md",
    llm=openai.Realtime(fps=10),
    processors=[
        YOLOPoseProcessor(model_path="yolo11n-pose.pt")
    ],
)

这个智能体会做什么：

YOLOPose 跟踪用户的身体运动。
OpenAI Realtime 解读姿态变化。
智能体即时给出指导反馈。

同样的模式也适用于网球、拳击、健身训练、“Just Dance”类游戏、物理治疗练习等任何需要实时姿态反馈的场景。

构建一名“隐形”教练助手

像 Cluely 这样的应用可以在本地屏幕上叠加实时指导，不向外部传输音视频。Vision Agents 也能实现这一点。

以下是一个由 Gemini Realtime 驱动的简易版本：

from vision_agents import Agent
from getstream import StreamEdge
import gemini

agent = Agent(
    edge=StreamEdge(),
    agent_user={"name": "SilentGuide"},
    instructions="You are silently helping the user pass this interview. See @interview_coach.md",
    llm=gemini.Realtime()  # 无语音，仅文本指导
)

这种模式适用于：
* 销售通话指导
* 求职面试辅助
* 屏幕任务支持
* AR 眼镜教练
* 一线作业指导

智能体分析屏幕与音频，并以文字形式“静默”反馈。

Vision Agents 的工作原理

Processors（处理器）

Processor 是 Vision Agents 的引擎。它们可以：
* 本地运行 ML 模型。
* 调用 API。
* 处理音视频。
* 维护帧级状态。

例如，使用 Moondream 进行目标检测与图像描述：

from vision_agents.processors import MoondreamProcessor

processors = [
    MoondreamProcessor(skill="detect"),
    MoondreamProcessor(skill="caption"),
]

说话轮次检测与说话人分离

Vision Agents 内置了智能轮次检测（Smart Turn、Vogent）和基于 Whisper 的说话人分离功能，使对话更自然。

语音-文本-语音循环

要启用会说话的智能体，请安装音频插件：

uv add "vision-agents[elevenlabs, deepgram]"

你可以串联 STT → LLM → TTS，构建实时对话助手或基于语音的教练。

集成概览

Vision Agents 支持数十种插件：

STT（语音转文本）
* Deepgram, Fast-Whisper, Fish Audio, Smart Turn, Wizper

TTS（文本转语音）
* ElevenLabs, AWS Polly, Cartesia, Kokoro, Inworld

大语言模型
* OpenAI, Gemini, Claude, xAI（Grok）

视觉模型
* YOLO, Roboflow, Moondream, 自定义 PyTorch/ONNX 模型

入门模板

以下是一个实用的通用起点模板：

from vision_agents import Agent
from getstream import Edge
from ultralytics import YOLOProcessor
import openai

agent = Agent(
    edge=Edge(),
    agent_user={"name": "VisionBot"},
    instructions="You are a real-time vision assistant.",
    llm=openai.Realtime(fps=5),
    processors=[
        YOLOProcessor(model_path="yolo11n.pt")
    ],
)

此模板可扩展用于：
* 零售分析
* 工厂监控
* 课堂指导
* 无人机监控
* 直播间审核
* AR 应用

实时 AI 的未来已来

Vision Agents 是少数真正将以下能力统一到一个对开发者友好的工具包中的框架之一：
* 视频
* 音频
* LLM 推理
* 本地 ML 模型
* 超低延迟网络

它是开源的、快速的、可与任何提供商协同工作，并解锁了全新的实时 AI 体验类别。

无论你是在构建无人机检测系统、教练应用、多模态助手，还是“隐形”的屏幕引导，Vision Agents 都提供了立即上手所需的基础设施。

原文地址：https://medium.com/coding-nexus/vision-agents-the-open-source-framework-for-building-real-time-video-ai-6c97d959033f

关注“鲸栖”小程序，掌握最新AI资讯

本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/archives/13012