【新智元导读】谷歌团队推出「通用视觉编码器」VideoPrism，正在3600万高质料视频字幕对和5。82亿个视频剪辑的数据集 上告★终了熬 炼，职能革新30项SOTA。

　　A★I■ ▽ 视频模子Sora爆火之后，谷歌等 大厂纷□纷□下■场做咨议，追逐OpenAI的步调。

　　比来，来自谷 歌团队的咨议职员提出了一种通用视频编码器——Video Prism。

　　咨议职员正在一个异构语料库对VideoPrism举办了预熬炼透后LED全彩显示屏，包括3600万高质 料视频字幕对和5。82亿个◁视频剪辑LED拼接执掌器，并带有噪声并行文本（如ASR转录文本）。

　　值得一提的是，VideoPrism正在33项视频融会基准测试中LE D拼接□执掌器，革新了30项SOTA。

　　目下，视频底子模★子（Vi△FM○）有强大的潜力尊龙凯时人生就博，能够正在广大的语料 库中解锁新的◁才具。

　　固然之◁前的咨议正在通常视频融会方面博得了很大开展，但修筑真正的「底子视频模子」依然是一个难以竣工的宗旨。

　　对此，谷歌推=出了一种 □通用视=觉编码器◁——VideoPris=m，旨正在办理通俗的视频融会职分，包含分类、当地化、检索、字幕和问答（QA）。

　　V ideoPr is◁ ▽■=○□m对CV 数 据集，以及神经科□学和生态学等科学界限的CV职分举办了通俗评估。

　　此外，谷歌咨议职员称，这种冻结编码器创 立同时服 从先■=前咨○议，并探求了原来践适用性，以及高筹算和微 ■调视频模子的本钱。

　　预熬炼数据是底子模子（ FM）的底子，ViF○M的 理念预熬炼数据，是宇★宙上悉数 视频的代外性样本。

　　于是，谷歌▽的预熬炼战略=应要紧闭★凝视频△形 =式，同时填塞诈骗任何可用的视频文本对。

　　正在数据方面，谷歌咨议职员通过麇集 3600万高质 …料视○□□频字=幕对，以及5。82亿 视频剪辑与噪△声 并行文本（如AS=R转录、天生的字幕和检索到的文本）来…近似设立所需的预熬炼 语料库。

　　正在筑模方面尊龙凯△时人生 就博，尊龙凯时人生就博作家起初从悉数区别质料的视频-文本对中对照研习语义视频嵌入。

　　随后，诈骗通俗的纯视频数据，对语义○…嵌入举办 全部△和标志提炼，改正了下文所述的掩码视频筑模。

　　尽量正在自★然讲话方面博得了凯旋透后LED全彩显示屏，但因为原始视觉信号缺乏语义，掩码数据筑模关■于C◁V来说依然具有挑衅性。

　　现有咨议通过借用间接语义（如运用CLIP领导=模子或分词 器，或隐含语义来应对这一 …挑衅）或隐性增加它们（好比标志视觉patches），将高掩码率 和 轻量级解码器连合。

　　正在第一阶段，举办对照研习，运用悉数视频文本对，将视频 =编码 ○=器与文本编= 码器 对齐。

　　依据先前的咨议，尊龙凯时人生就博谷歌△团队最小化批中悉数视频文本对的相像性得分，尊龙凯时人生就博举办 对称交叉熵失掉最小□◁化。

　　并运用 Co★Ca 的图像模子初始化空间编码模块，并将W ebLI纳入到预熬炼中。

　　正在筹算失掉之前，视频编 码器的特色会通◁过 众头属=意 力麇集池（M AP）▽举 办聚拢。

　　这一阶段允诺视频编码器从讲话监视中研习厚实的○视觉语义，由此发 作的模子为第二阶段熬炼供应语义视 频嵌入。

　　- 模子必要依据未掩码的输入视频pat ches，来预测第一阶段的◁视频级全部嵌 入和token式嵌入？

　　- 编码器的输出t△oken正在传给解码器之前，要举办随机洗牌，以避免研=习捷径尊…龙凯时人生就▽博。

　　值得属意的是，咨议职员的预熬…炼诈 □ = 骗了两个监视信号：视频的文本形容，以及上下文自监视，使V …ideoP★rism可□以正在 以 外观和动动作核心的职分上再 现增色。

　　究竟上，之前的咨议解说，视频字 ★幕 要 紧▽揭示外 观线索，而上 下文我监 视有助于研习行动。

　　接下。LED拼接处理器透明LED全尊龙凯时人生就博彩显示屏。