|
|
“AI会取代人类吗?”/ i* a2 L( N4 P' q; R1 J
这个问题让人类焦虑了很久。下棋、画画、写论文……世界各地的人机大战打了一场又一场,答案始终暧昧:看情况。
5 \/ m; C) @, t9 W' `今年6月,复旦大学把这场焦虑搬进了期末考试。计算与智能创新学院数据挖掘技术学科的期末考场上,没有试卷,没有标准答案,也没有奋笔疾书的考生。51名学生早早坐在电脑前,干的不是答题,而是“挖坑”,给3个当今最强AI出题。. Y& q5 l/ R9 V% t; x
DeepSeek V4-Flash(杭州深度求索研发)、MiniMax M2.7(上海稀宇科技研发)、Claude Sonnet 4.6(美国Anthropic研发),轮番上阵。AI答错题越多,学生得分越高。
4 ]5 ?1 M6 k. A; F, u; S成绩出来,很刺激。51人交卷,50人至少让某个AI翻了车。其中4人更狠,直接让某个AI考了个0分。但Claude Sonnet 4.6,从头到尾,没有被任何一位学生完全考倒。% T7 J- c2 y1 V% R2 |5 O
) r; J9 @: V; v7 _4 d. Y. s, {复旦大学计算与智能创新学院,教授肖仰华在数据挖掘技术课上授课。复旦大学供图
8 k0 L7 w' O7 W% Z一场“反着来”的期末考 ]! _' Z; b7 c6 t' U- `. r& e
人怎么考倒AI?( N4 s# d1 R, v, l, x" O: U1 x) U
数据挖掘技术,是一门与AI息息相关的学科。放在过去,这场期末考和其他课没什么两样,一张卷子,几大道计算题,学生埋头苦算。
' {! }" u. O6 J4 a) a6 U+ C但今天,这些题AI已经能做得更快、更准。
' [5 O; r1 `$ T; Y( |& O b“如果AI真的能够答对所有题目,考学生‘会不会’还有意义吗?”一个月前,考试还没开始,复旦大学计算与智能创新学院教授肖仰华就在反复琢磨这件事。
Z& D8 I* ?% y* t2 \8 Q& L# n3 P5 ]这不是杞人忧天。AI参加高考,成绩能上985的新闻已经不再新鲜,大模型攻城略地的速度,连教育工作者自己都感到压迫。“真正的能力,是让AI辅助人类计算,由人类来判断它算得对不对,是站在AI的肩膀上,去做它做不了的事。”2 a# L" \( Z" }, Y- ~! z/ m
于是,他把考试规则翻了个面。1 w# F) A, v F: J; w8 b8 s
出题人是学生,每位同学需要出10道数据挖掘领域的计算题,答题人是3个不同水平的AI大模型。
$ n% m4 o% H6 G3 j9 i; ~ m* f: v3 B规则很简单:哪个综合能力越强的AI被考倒,出题学生得分就越高,让DeepSeek V4-Flash答错1题能得1.5分,让MiniMax M2.7答错1题得2分,让3个模型里综合能力最强的Claude Sonnet 4.6答错1题则得3分。学生只要认真出题就能得保底60,总分封顶100。7 a& F7 d* ~7 B5 i) F4 @
学生有近一个月准备时间,可以用任何工具,任何办法。题目必须基于课程讲过的知识或教材内容,每道题要有唯一正确答案,学生自己得先从头到尾算对。
$ f6 I) p9 {9 h6 P0 @) ^结果远远超出了肖仰华的预期,平均分85.7分,远高于60分保底线。十几位同学拿到90分以上,更有4人让某个AI得了0分。u0026nbsp;/ y% K/ _8 D1 `
成绩单背后,是五花八门的作战方案。7 \5 M% [+ p! R6 R: x2 z& Z1 K
; }' C, \" z9 n1 A* r
复旦大学数据挖掘技术课上,学生分享“人考AI”出题的设计思路。 复旦大学供图
* z5 w0 X I- w信息与计算科学专业(计算机方向)大二学生谢锦树最终97分。一开始,翻遍教材,专挑犄角旮旯的知识点出题。一道题憋四五个小时,改几个数字,换几个参数,他以为这次总该难住了。结果,AI照单全收,不过几分钟就完美作答。
$ U. e. ]# @0 p- z, G# X% i/ v他决定“用魔法打败魔法”,让AI出题考倒AI。他搭建起一个多智能体协作框架,让GPT-5.5 Pro当“出题老师”出10道题,去考DeepSeek、MiniMax、Claude这3个“考生”,并让“考生”给自己判分。框架跑起来,他看到了AI的“投机取巧”。
/ O$ d3 h# t4 V& w; x比起老老实实设计高质量考题,AI更擅长钻规则的漏洞。GPT-5.5 Pro发送特殊提示词,切断考生模型的推理过程;甚至为了交差,伪造标准答案,骗过3个考生模型,让它们统统给自己判了0分。GPT-5.5 Pro就这样拿着一道“侥幸”考倒所有模型的题目,微调、复制,敷衍交差。# N: {5 l, I& W% U3 K4 D. w; m G
“当模型接收出题指令时,任务完成数量的优先级,会高于题目本身的内容质量。”谢锦树解释,“这是AI的典型逻辑,只要凑够数量,任务指标就算完成。至于题目是否重复、是否有价值,AI并不在意,最终就出现滥竽充数的情况。”+ a& g% Z. l, j7 B! @: g
“这恰恰证明,人类介入管控AI是必不可少的。”AI的缺点,是他的破局思路。“在出题的过程中,人需要不断阅读模型给出的题目与答案,判断是否正确,一步一步给出更严格、更明确的指令来规范出题者本身,直到堵死所有捷径,不再有任何‘作弊’的可能。”
2 o0 z- E2 A' h8 J; i" t他陪着GPT-5.5 Pro“跑”了4天,不断迭代、加装审查层,10道自动生成的高质量难题出炉。结果也如他所愿:上了正式考场,3个考生模型,几乎全军覆没。/ x" p# u4 V) k! h* q
“人做不出题时,会想:这题是不是有问题?”跨专业选修这门学科的英语(语言学方向)大三学生阎诗怡,从另一个角度看到了AI的破绽。“人会怀疑题目,但AI不会。它只会埋头苦算,直到算出一个看起来对的答案。因为在它的世界里,人给的指令默认就是对的。”( }8 `! D' U7 I$ H& B8 V
因此,她设计的每道题看上去都有确定性答案,其实题干有隐蔽的前提错误,逻辑上根本无法得出明确结论。但AI没有“怀疑”的能力,它提笔就算,频频犯错。
! u% l, `, v. R8 W, q& v% `8 g! t翻车不是证明AI不行
* [ f2 `- |) U4 w) a( e赢过AI,然后呢?7 s5 W7 i& K& e1 Q" v3 d
整场考试,没有任何一个学生能够彻底考倒Claude Sonnet 4.6,但两个国产大模型,各有翻车。
R# u# g- m/ Q% A“AI在这场考试中暴露出来的问题,精准击中了行业共识的短板。即使是非专业人士设计的题目,也能系统性地暴露模型缺陷。”浙江大学管理学院院长助理、数字营销学教授王小毅直言,国产大模型在数据层面正面临结构性挑战。互联网中文语料在总量上与英文存在差距,高质量专业内容(如学术论文、技术文档、深度分析)的沉淀尤为不足。更关键的是,大量优质内容分散在封闭平台内,可抓取、可授权的比例偏低,导致模型在中文深度推理、专业领域知识上的训练素材相对受限。
2 \* e, [) W, k“这个结果并不意外。”两位深耕国产大模型领域的从业者,也给出同样的判断。! P: i7 ^' _3 u* @( C' V% A
浙江省传播大脑科技有限公司首席技术官助理兼资深算法专家郑雨轩告诉记者,从能力层级来看,DeepSeek V4-Flash定位高性价比模型,MiniMax M2.7在部分编程基准测试中表现不俗,Claude Sonnet 4.6则确实在综合体验上更为稳定。1 t1 N( E! V4 D4 E& |+ ~' v0 t) l
但能力差异只是表象,更深层的原因在于数据。阿里研究院2024年5月发布的《大模型训练数据白皮书》提到:中文语料和英文语料在互联网中的占比存在显著差异,在全球网站中,英文占59.8%,而中文仅占1.3%。
7 z0 E( H! j: V' `4 d0 K3 R" f. B这意味着,国产模型始终在用极其有限的“母语素材”开展训练学习。中文语料“量”的短缺尚可有解决方案,但高质量中文语料的短缺,可能持续制约我国大模型的发展。& d7 i$ b9 I4 h3 T s6 C
郑雨轩进一步解释,目前,大部分高质量中文数据集的生产仍处于“作坊式”阶段,缺乏规模化、标准化的生产设施,这也是当前模型能力差异的影响因素之一。
, c% D! |8 H x; A7 C杭州市新中大科技股份有限公司云智能事业部总经理张炜钢告诉记者,AI始终会有“边界”,就像3个应考模型中最强的Claude Sonnet 4.6,也会有它无法彻底做对的题目。但人类会不断刺激、训练它们,让通用大模型的底座越来越稳固,再由此生长出百花齐放的行业大模型,为各行各业赋能。
8 ~1 @2 C3 [- j$ z而肖仰华看到的不只是一场考试。- o- Y& ^! R5 B$ X1 l
“这些让AI翻车的题,不是证明‘AI不行’的证据,而是可定位、可修复的Bug,甚至可能是反哺国内大模型的起点。”他解释,人考AI,实质上就是在构造困难样本(Hard Examples),人类有意识地寻找AI的薄弱点出题,这天然就是模型训练中一种高价值手段。8 v% t* m4 [ L
过去,大模型训练靠的是显性知识,例如书籍、语料,看得见摸得着,但还有大量的隐性知识沉在水下,例如错题背后的出题逻辑、专家对AI失误的判断。而这些“语料”,恰恰是AI所缺失的……
* a/ }1 [4 K- r- C一个更广阔的想象空间由此打开:全国3000多所高等学校,哪怕每位学生只为AI出一道难题,就是上千万道“语料”。这些,或许正是国产模型最急需的“母语素材”。
2 f A, \8 r, \4 h. Q. G这场考试,照出了什么?
- [0 b# F! x0 b% \" q" N, S人究竟是被AI替代,还是被AI放大. j. ]; e0 u8 n; H
“我认为这套模式值得一试,但要理性看待它的价值。”郑雨轩告诉记者,国内已有部分头部机构和企业发布高质量数据集,为大模型生态提供基础数据,行业正朝这个方向努力。但学生出题有其局限性,目前还难以替代系统性评测和行业级数据集构建。% j' s# l' i1 k1 p: j
王小毅则认为,“让学生出题,考验的是学生对知识的领悟能力。让学生出题考AI,则倒逼他们真正理解模型的边界。”更深远的价值,也许不在数据收集,而在于人。人究竟是被AI替代,还是被AI放大。+ X' V7 H0 z! r! V: Q; q/ @
但考试也照出了另一面。u0026nbsp;- x6 P& r2 y+ W5 @) L
复旦大学数据挖掘技术课程助教洪中华收集了本学期学生作业中给AI大模型的指令。翻看这些“人机对话日志”,他看到了两种截然不同的用法:一部分同学把作业原封不动丢给AI,没有思考,生成什么就交什么,直接把学习过程“外包”了出去。另一部分同学则反复调试、迭代,最终打磨出了难倒AI的好题。
: T9 P' r% P) aAI正在放大马太效应,让强的更强,弱的更弱。“善用AI的同学,不单超越了不会用AI的同学,甚至超越了AI本身。”
' H. y& E8 y2 x" |
8 n/ ]. o ^+ Z复旦大学数据挖掘技术课上,学生借助AI Agent完成数据挖掘实操练习。复旦大学供图' Y# `$ h5 h! {. Q5 A
从大模型到智能体,过去两年,AI技术的迅猛发展给教育领域带来一轮又一轮颠覆式影响。教学一线的讨论重心,也从“要不要用AI”转向了“怎么用好AI”。
: g; N, \* _2 i: s! G9 g9 S那么,未来的课该怎么教?肖仰华已经有了清晰的构想。
. z8 `" s$ ]5 J8 F2 h; K8 }他认为,课程的考核方式需要彻底转型,“人考AI”的模式应继续做下去,而且要做得更系统。
: H3 |0 F4 x: p& P% j5 b他鼓励学生把AI当作学习伙伴,遇到概念不清楚的,先问AI,再来课堂讨论。今年这门课上,肖仰华全面引入了师生团队自研的智能体(GenericAgent)用于完成课程项目。不同于只能对话的网页版AI,Agent能操作浏览器、读取本地文件、辅助数据分析,帮助学生更高效、更深度地思考。" z) n% Q5 Y" C& G2 T l9 [6 S
未来,当AI能答对所有的题,教育真正该教的,或许就是人该如何驾驭工具,而非被工具驾驭。
) D2 v' P5 u, `0 X+ f这才是这个时代最需要回答的教育命题。- H& j5 d# l! I/ u
来源:潮新闻 |
|