|
|
效果好到刷屏的Nano Banana，学术特供版热乎出炉！, B5 m. l# ], o4 U
名字就是如此直观——PaperBanana，给你每天都在头痛的Paper用上Banana。（试图押韵skr)( b2 X" C ?! R2 ~% M0 s8 a
而且这一次是由谷歌北大强强联手打造。
8 A4 d+ y: ^' z
D( r: ]! S! ~1 h1 r" A知道你想马上看效果，别急，三个官方案例这就给大家搬上桌。
3 t' o/ c6 k3 ^1 M8 r& `6 S7 ~在相同输入下，人类绘制、原版Nano Banana与PaperBanana生成的论文插图对比如下：: p0 r7 x9 P# R- T8 x/ U
综合评估显示，PaperBanana在美观性、简洁性与逻辑清晰度上均全面优于原版。
" O: N3 x$ a% c/ i' j5 F
) V& D+ F/ g/ m. B5 _而且它还能直接优化人工绘制的插图，瞅瞅右边，是不是高级感一下就上去了。) O% p5 o3 w1 x/ N8 o1 b3 l5 N% D8 _
1 c; U( `7 @" B+ _! B
此外，由于PaperBanana还提供代码出图功能 （即利用Gemini-3-Pro自动生成并执行Python可视化代码出图），所以它还能用来生成需要数值100%精准的各种图表。
* V+ O8 ]& A) A( K# y' `' h: ~3 o" O; a7 ?. B- W0 K- d
好好好，既能拿捏高级感，又不忘精准度，应该没有学术人不爱吧~
; H3 I; E, e h+ g; W
( G a% {, W) o E7 B6 N; J论文作者表示，PaperBanana为全自动生成可用于出版的插图铺平了道路。& C. N4 R# Y% z
我们希望这个框架能成为连接复杂科学概念与高效视觉叙事的桥梁，赋能每一位研究者，用专业级的视觉语言清晰呈现其发现。
" w! H; T& m. ?7 Q; x8 g 而在看到其效果之后，一众网友也纷纷感叹“学术插图”这个老大难总算是要被攻克了。' B/ e1 I; [6 @# a: P/ n+ l5 ]* q
想想以前的日子，真真是要落泪了~$ w; G6 v5 ?6 O- w: |6 J
研究人员花费4个小时在Figma中绘制一张图，简直令人难以置信。
2 E: e( `! d7 X3 Z6 R % p& Q+ F! w# c, `0 c
那么，学术版PaperBanana是如何炼造的呢？
- }; w6 N- H3 @& J, y一个不够，那就5个！
5 W3 B, E' |5 { j* U. F$ C% }- e! s" _, T2 B( [
用一个模型生图怎么够，现在都是多智能体齐上阵了。
; d7 K& b# |4 W w1 s没错，PaperBanana背后就是5个分工明确的智能体在起作用。
( y) }* Y" b! n2 {/ e
- Z2 I" w. V6 Q" v& o- Retriever Agent（检索智能体）：从顶会论文库中，找到与你要画的图领域、结构最相似的参考案例。% k ~0 X& }* Z: }+ Z$ ]9 M8 q
- Planner Agent（规划智能体）：把论文文字描述，转化为包含所有模块、逻辑的详细绘图说明书。' z; W4 e% N/ \2 m0 i1 L. w+ c
- Stylist Agent（风格智能体）：总结学术审美规范，给说明书加上配色、排版等“美颜”标准。/ T- \' U" L) N- B
- Visualizer Agent（可视化智能体）：根据说明书，直接画图或写代码出图，产出初稿。
4 s- G6 B! a0 |# \1 I7 b4 Y- `# O - Critic Agent（批判智能体）：检查图的对错与美观度，提出修改意见，循环迭代3轮优化。
4 V* O& F/ t0 T) Z& ^6 h6 }
下面这张图清晰展示了它们的工作流程：( C, T& P1 d. a- b
划重点，连这张图也是PaperBanana自己生成的。
5 t8 K2 k. V0 h! j* N
; j! m( ]# o, t+ @# h* |% I2 f$ T论文作者表示，这一过程参考了人类制作论文插图的流程。. c8 h" l6 i* Y$ d4 B/ p
以制作一个模型架构图为例，通常研究人员会先去看看顶会里类似工作的图是怎么画的，找找灵感和规范。; M8 b2 u b0 r% I! H0 F/ d' O {
这一步就对应了检索智能体的工作。6 E: Q7 ?. d: I7 Q
然后就需要根据参考来规划自己的图该怎么画，“我的方法有几个关键模块？”、“数据流和逻辑顺序是怎样的？”，在想清所有关键问题后，脑子里大概就有一幅架构蓝图了。% `% m0 O6 @( r+ \" w
而到这一步还不是真正动笔的时候，因为还需要结合自己的图以及之前看过的“顶会审美”标准，来给蓝图加点设计感。
* P' Z; ]7 D: @. l: r* c b" w有了这两样东西（蓝图+审美），现在就可以真正出图了。/ s# v! `) K5 X! t
并且出完之后，研究人员往往还需要检查一番，以确保出图正确无误。& M5 O# y9 l$ W1 E1 p1 c
1 `* t3 k6 k) t- v1 f
怎么样？是不是一环扣一环、且全都一一对应上了。
6 f. K4 Q6 A. K9 c而在了解完PaperBanana的工作方式后，接下来的问题在于：$ ?4 y" @; K& m8 j' O
怎么评估PaperBanana的生图效果？
- j8 e. U- J! p9 U实验方法及结果8 _$ y/ y' n. f* I3 M! b S# N
: F/ h- [8 ^4 T! h3 `, [
对此，团队还专门构建了一个PaperBananaBench。该基准内容源自NeurIPS 2025——
8 f4 v" y: u- \) B他们从5275篇论文中随机采样2000篇，经过滤、人工校验后，得到584个有效样本，然后将其均分为292个测试样本和292个参考样本。) H1 K3 N) D/ S2 D' }; N* y
这292个参考样本，每一个都提取了完整的（S, C, I）三元组：- M; j1 l" n2 U# r+ F' j
& _4 ~& [0 ~' j. X) f( p- S（源上下文）：描述方法的文本，如论文方法论章节；) f6 d- a" H% z( N$ F
- C（传达意图）：图的标题/说明，如“我们的框架概述”；) P' c9 q6 m m6 q9 C/ \$ d& _# r
- I（参考图像）：论文中实际使用的、高质量的对应图表。
+ W! Y5 S$ Y# Z9 P7 B
参考样本集构成了一个高质量的“学术插图数据库”，主要供检索智能体进行查询和匹配。
% U; y/ E& E' P @1 R/ u0 k+ x而与之对应的292个测试样本，在评估时则仅提供S、C作为输入。其对应的I作为隐藏的标准答案，不参与生成过程，仅用于最终的质量比对与评分。
, w1 l0 h. W- `准备到这里，接下来就是具体生成和评估了。
0 s5 B" N- M# T. m/ B' P裁判方面，他们采用了“VLM-as-a-Judge”（大模型当裁判）的评估范式——. [5 q# N4 b' E/ O
让强大的视觉语言模型（如Gemini-3-Pro）作为评委，将PaperBanana生成的图与测试集中隐藏的标准答案I进行逐项对比。
- O4 M# \1 W8 A3 B: U对比的维度主要有四个：忠实性、简洁性、可读性、美观性。
4 j( A& g6 M, c; X! U若PaperBanana表现优于标准图得100分，劣于得0分，持平得50分，最终计算总分。; m) w8 c1 A, Y& S; o4 A2 r* L u3 f
而实验结果表明，PaperBanana在所有维度上全面超越了传统的单模型直接生成（Vanilla）等基线方法。) | g% t) ^: y6 B5 V0 M
& J/ n8 [. i, q
t, b8 M; t! Y L# m8 I
- 整体性能碾压：总分相对基线提升了17.0%。其中，简洁性提升最为显著，高达37.2%，说明它生成的图逻辑更干净、重点更突出；可读性（+12.9%）和美观性（+6.6%）也有大幅领先。& ^- R2 B$ o2 d/ t- t2 H
- 获得人类盲测认可：在匿名的人类盲测中，研究员有72.7%的情况认为PaperBanana生成的图比基线模型更好。1 s. R4 g& I7 Y5 ?# ^
- 统计图表表现优异：在需要高精度的统计图表任务中，PaperBanana的“代码生成模式”在数值忠实性上与人类水平相当，而简洁性和美观性甚至略胜一筹。! z. K! [1 z' f+ ?3 D r, c/ [
" m0 o. o2 v) P- D这里需要说明，在生成图表方面，PaperBanana有两种模式：
* i" \# d% Y3 y$ T9 p一种是代码生成模式（默认）。让Gemini-3-Pro这类模型自动写Python可视化代码（如Matplotlib），再运行代码出图。优点是可以保证数值绝对准确，适合需要严格精度的场景。
7 J4 \7 a, _! j1 }& l& ?7 X另一种是直接生图模式（可选方式）。跳过代码，让图像生成模型直接根据文本描述生成图表。优点是视觉效果更顶，但数值容易出现幻觉问题。, B" { ~6 L5 s5 W' M8 M
左图直接生图模式下，红框圈选出来的就是一些错误问题，而右侧的代码生图模式明显无误，但美观度略逊。
6 {2 \, `; h' G+ o
1 G. G o( x+ r最后的消融实验证明，检索参考、风格优化、批判迭代这三个环节缺一不可，它们共同保证了最终图像的“准确”与“好看”。4 A9 R5 k* p* n2 l$ Y3 T
不过也需要提醒，PaperBanana目前仍有一些局限性，比如它作为生图还无法编辑，同时在很多细节忠实度方面仍比不上人类手工作业。
6 I0 \+ _* G, ^- {$ ?) N+ h! K所以，更保险的做法或许是，让它帮你优化以前绘制过的图。
. G$ l5 U& l& \) |' x9 ~. T y在下面这套“手图蜕变”流程下，很多图都能变得更美观、更高级……当然也更容易入顶会的眼（doge）。" ?4 b7 @% i4 y) C
' ^8 H9 L: |: e$ [) h
谷歌x北大联手打造& ]% a9 ]8 x- ~& d) M! ?2 f
/ ^& R2 S. d, F0 M9 y# o$ }最后介绍下PaperBanana背后的团队。8 D6 P' i9 _2 M
一共7人，可以清晰分成两拨——
o6 V! g# V# S# f3 X, X$ a3 {一拨来自北大，主要提供NLP与多模态理解的学术根基；另一拨来自Google Cloud AI Research，负责多模态系统与工业化视角。2 W4 H. w6 ?8 I- j9 ^
: j: @; M0 s. b) F; {+ @
署名第一的DawEI Zhu（兼通讯作者），本硕博均就读于北大，现为北大四年级博士生。* p: _6 w! I* X: Y7 d( Y! a* a
他重点研究长上下文建模和多模态数据，之前在微软亚洲研究院实习过，目前是Google Cloud AI Research学生研究员，PaperBanana也是他在谷歌期间参与的项目。7 q S0 R* _! W1 Q) z, U) U
+ f d( E$ [5 E, x借着北大这条线，另外两位来自北大的分别是Xiyu Wei和Sujian Li（兼通讯作者）。
, H4 y" l# W# Q9 Z0 P1 a! ~Sujian Li目前是北大计算机学院长聘副教授，也是Dawei Zhu的博导，主要研究自然语言处理、信息抽取等。+ A d. I/ |( X [+ S3 Y2 D8 D4 s
而Xiyu Wei可能还是学生，目前只能看到TA和Dawei Zhu合作过一篇关于拓展上下文的论文。
/ u# ^1 c# J( I' s4 G+ s, q
4 B9 D7 j4 ^# L5 b+ Q1 Y/ _0 q而其他几位来自Google Cloud AI Research的分别是：
0 h0 W! ^+ d$ H负责人Tomas Pfister、高级研究科学家Yale Song、研究科学家Rui Meng和Jinsung Yoon（兼通讯作者）。
, _* a4 D6 N2 \* E; y+ b' u5 [截至目前，PaperBanana已在开源社区GitHub揽获上千star，感兴趣可以继续关注。
$ z# j1 z6 I' v3 ^, K1 e
( n5 |& m2 x/ Q1 f项目主页：
1 b! g/ C+ v7 Q5 E* ]https://dwzhu-pku.github.io/PaperBanana/2 t* K& B9 w) _# j; [
论文：' h9 ^4 S' P& l' T
https://arxiv.org/abs/2601.23265* b# [( {" m' U; \2 C
GitHub地址：: }- g0 Q% Y) a5 H: U
https://github.com/dwzhu-pku/PaperBanana |
|
公安备案号：辽公网安备21020302000612号 手机版
发表于 2026-2-16 17:37:05
