概览

Vane Data 是面向 AI 工作负载的高性能、多模态原生数据引擎。它基于 DuckDB 分支构建，在核心执行引擎之上扩展原生多模态处理能力，并提供统一的本地与分布式执行框架。

从快速开始入手，用 Vane 处理本地图片，无需 GPU、模型 API 密钥或外部集群。

多模态输入输出 / 结果

传感器

表格

文档

图像

视频

音频

事件

embeddings

→

Vane Data

原生多模态数据模型

计算 + 推理算子图

并行 CPU-GPU-IO 执行

CPU↔GPU↔

本地与 Ray 执行

接入解析转换推理增强打包

→

训练数据

特征与 Embedding

可检索记录

分析结果

Vane Core

本地运行时+Ray 运行时

统一的多模态数据语义

通过 SQL 和 Python 处理文件引用、解码后的图像与张量。

流式执行、背压与动态批处理

大对象持续流动，批量大小随压力自动调整。

异构执行重叠调度

CPU、GPU、IO 和模型推理通过异步调度重叠执行。

本地与分布式执行

在本地或分布式 Ray 集群上运行流水线。

原生多模态类型

文件引用与解码后的数据使用不同的类型，都可以通过 SQL 或 Python 查询和转换：

类型	含义
FILE	包含位置和元数据的不可变文件引用
IMAGEFILE、AUDIOFILE、VIDEOFILE	编码后的图像、音频和视频文件引用
IMAGE	解码后的图像像素
TENSOR	数值数组，包括音频波形

使用内置媒体函数查看元数据、解码和缩放图像、重采样音频或提取视频帧。媒体函数默认使用 Python 后端，需安装对应的 vane-ai[image]、vane-ai[audio] 或 vane-ai[video] 依赖。可选的原生加速由实验性的 native_media 扩展提供，需要单独安装其 provider wheel。

核心能力

• Python 与 SQL 接口 — 使用 DuckDB SQL 或 Python Relation API 构建流水线，并通过 Python UDF 扩展处理逻辑。
• 内置 AI 算子 — 在数据转换过程中，通过所选模型服务调用模型和生成 embedding。
• 异构执行 — 通过异步调度重叠 CPU、GPU、I/O 与模型推理工作负载。
• 本地与分布式执行 — 在本地或 Ray 集群上运行流水线，通过动态批处理与背压控制适应数据规模和处理开销的变化。

连接现有数据系统

对接类型	支持的操作
湖表格式：Iceberg、Paimon、DuckLake	分布式查询与写入
列式格式：Lance、Vortex	分布式查询与写入；Lance 还支持向量搜索和混合搜索
向量数据库：Milvus、Qdrant	将查询结果分布式写入或更新（upsert）
分析数据库：Doris	分布式 Arrow 批量写入

湖表和列式格式扩展通过独立于 vane-ai 发布的 provider 包安装。数据库写入使用各自的可选依赖；安装配置与支持的操作请参阅对应指南。

下一步

• 运行快速开始示例 — 查看、筛选和缩放本地图片。
• 准备多模态训练数据 — 组合媒体处理与质量筛选，产出待发布的训练数据。
• 将客服录音转为可检索记录 — 转写、分类、生成 embedding，并将结果写入 Doris。