|
|
( E, ^) _8 q, W0 ?+ y) W: ~0 F编辑:定慧 好困/ x4 H. A v: P1 e
【新智元导读】DeepSeek开源DeepSeek-OCR2,引入了全新的DeepEncoder V2视觉编码器。该架构打破了传统模型按固定顺序(从左上到右下)扫描图像的限制,转而模仿人类视觉的「因果流(Causal Flow)」逻辑。( K" @: l" B7 h1 T) a: e
DeepSeek又双叒叕更新了!% j& I% @$ }. o( j3 t
这次是DeepSeek-OCR模型的重磅升级:DeepSeek-OCR2。
; E4 |6 [9 ]: v6 d% E" I7 q L
* X9 r! C8 e) D* s# x F2 f; @还记得上一代DeepSeek-OCR吗?那个用视觉方式压缩一切的模型。
; y* Q/ W- a0 Z# ?4 R& S- A这一次,DeepSeek更进一步,对视觉编码器下手了,提出了一种全新的DeepEncoder V2架构,实现了视觉编码从「固定扫描」向「语义推理」的范式转变!8 N3 i4 Z6 ?5 R1 g8 H. M
4 q4 ]& [& C8 l; R! U: n) Z
DeepSeek-OCR2不仅能像人类一样按逻辑顺序阅读复杂文档,还在多项基准测试中刷新了SOTA。
; F" C* P& Y* y3 R& H# X7 p当然,按照DeepSeek的惯例,Paper、Code、Model全开源!8 Z. v& U( ~" [/ v7 w% @) l
2 L( x W# V+ o8 Z. ODeepSeek-OCR2的核心创新在于通过DeepEncoder V2,赋予了模型因果推理能力(Causal Reasoning)。2 ^) H6 w. u- V' L9 K3 U w
这就像是给机器装上了「人类的阅读逻辑」,让AI不再只是死板地从左上到右下扫描图像,而是能根据内容语义灵活调整阅读顺序。8 a" E) W1 u8 @% z" d' r# w
DeepSeek-OCR25 S# j9 V W% f1 g. f {
视觉因果流3 ?, J5 K2 h: B% n+ z
DeepSeek在论文中指出,传统的视觉语言模型(VLM)通常采用光栅扫描(Raster-Scan)顺序处理图像,即固定地从左到右、从上到下。4 F. ~: g' q; M& n" o E
这种方式强行将2D图像拍扁成1D序列,忽略了图像内部的语义结构。
) Y/ X }9 W+ X) d% Z( V7 _
* s3 j. z$ n0 ^. M9 h' R8 Y) Q这显然与人类的视觉习惯背道而驰。8 @2 a% w6 D6 s7 r* E f. Q6 {
人类在看图或阅读文档时,目光是随着逻辑流动的:先看标题,再看正文,遇到表格会按列或按行扫视,遇到分栏会自动跳跃。
6 y k* p) J! d D为了解决这个问题,DeepSeek-OCR2引入了DeepEncoder V2。
; R# J' k* S9 j" ~& l) O' x* r& U它最大的特点是用一个轻量级的大语言模型(Qwen2-0.5B)替换了原本的CLIP编码器,并设计了一种独特的「因果流查询」(Causal Flow Query)机制。
; V0 r3 e a" ]7 oDeepEncoder V2架构详解
" S8 s2 f* y$ _DeepEncoder V2主要由两部分组成:% l) ~7 _5 }, \6 ^. j
1. 视觉分词器(Vision Tokenizer)9 N* M6 l* E* R' B7 [% D
沿用了SAM-base(80M参数)加卷积层的设计,将图像转换为视觉Token。
. ]+ ~/ R- v; f" S3 ]% N- u6 K' \
+ X4 f* I, M+ x6 B/ \, i1 ]2. 作为视觉编码器的LLM
" m7 ^) t5 Z1 O9 C8 K3 c1 w这里DeepSeek使用了一个Qwen2-0.5B模型。
2 k% `3 A; S# S7 r$ F它不仅处理视觉Token,还引入了一组可学习的「查询Token」(Query Tokens)。* c, t" h. F# N6 f0 ~/ ? v; w# G5 B% Z
& y/ f+ z3 h! l8 z: y/ `关键的创新点在于注意力掩码(Attention Mask)的设计:; z/ R, W4 i1 I' a8 l2 \7 T& k
6 R9 T( V( p q7 `, E视觉Token之间采用双向注意力(Bidirectional Attention),保持全局感知能力,类似于ViT。
+ z+ `% m& J; o. ~6 N而查询Token则采用因果注意力(Causal Attention),每一个查询Token只能看到它之前的Token。
9 ?9 e; L9 A9 B+ o通过这种设计,DeepEncoder V2实现了两级级联的因果推理:. X& J2 C7 W8 v. h: b6 p" X
编码器通过可学习的查询对视觉Token进行语义重排,随后的LLM解码器则在这个有序序列上进行自回归推理。9 S/ E8 z7 x- d+ W4 D
这意味着,DeepSeek-OCR2在编码阶段就已经把图像里的信息「理顺」了,而不是一股脑地扔给解码器。; G+ j7 Y# O, ~/ a
Token更少,精度更高6 P& ?1 O1 r3 ?& ?+ M
实验数据显示,DeepSeek-OCR2在保持极高压缩率的同时,性能显著提升。
+ L5 I) t* T# F. [2 L ~在OmniDocBench v1.5基准测试中,DeepSeek-OCR2在使用最少视觉Token(仅256-1120个)的情况下,综合得分高达91.09%,相比前代提升了3.73%。
8 n% J6 m' F9 ]( o: {( c9 A2 k9 i/ ~
$ \! j$ G! k& Z4 n' Y6 O6 u6 I
特别值得一提的是,在阅读顺序(R-order)的编辑距离(Edit Distance)指标上,DeepSeek-OCR2从前代的0.085显著降低到了0.057。
1 {4 K4 G. W8 R: {& _- m F这直接证明了新模型在处理复杂版面时,逻辑性更强,更懂「阅读顺序」。
* Z2 E9 U0 j3 w! F/ y在和Gemini-3 Pro等闭源强模型的对比中,DeepSeek-OCR2也丝毫不落下风。' ^0 h5 l7 f7 S" A, n2 \
在均使用约1120个视觉Token的情况下,DeepSeek-OCR2的文档解析编辑距离(0.100)优于Gemini-3 Pro(0.115)。7 p* B# D3 U, l
& L9 c% E$ f" [# X2 N9 \. K
, k: }5 p3 S, i3 e }; v, p
不仅是刷榜,DeepSeek-OCR2在实际生产环境中也非常能打。
1 k/ S* Y) S" a+ g( qDeepSeek披露,在处理在线用户日志图像时,OCR结果的重复率从6.25%降到了4.17%;在PDF数据生产场景中,重复率从3.69%降到了2.88%。5 A+ _8 k: h5 g5 |
. f$ U. Z) c% ?6 V- T# H- q
这意味着模型生成的文本更加干净、准确,对于作为LLM训练数据的清洗流水线来说,价值巨大。
" I/ E) L' W! ^) v$ t, q迈向真正的多模态统一
3 \) q# D, S0 @DeepSeek在论文最后提到,DeepSeek-OCR2通过DeepEncoder V2验证了「LLM作为视觉编码器」的可行性。
1 h7 `3 Y- b" j8 j7 H这不仅是一个OCR模型的升级,更是迈向原生多模态(Native Multimodality)的重要一步。% F/ E k ^. Y6 S% T
未来,同一个编码器只要配备不同的模态查询嵌入(Query Embeddings),就能处理文本、图片、音频等多种模态的数据,真正实现万物皆可Token,万物皆可因果推理。& D9 u5 I( t9 ~% c
DeepSeek表示,虽然目前光学文本识别(OCR)是LLM时代最实用的视觉任务之一,但这只是视觉理解宏大图景的一小部分。
: u- v( X6 g6 u2 P5 H2 r6 ODeepSeek将继续探索,向着更通用的多模态智能进发。 |
|