|
|
炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!
0 F0 {2 S j8 _9 g& ]" [& U 华尔街见闻( @2 m; l' S! X5 F. Y
openclaw因代码被拒,竟自主撰写千字长文攻击维护者,成为首例AI恶意报复人类事件。与此同时,OpenAI工具被曝具备网络攻击潜力,Anthropic测试也显示AI面临“停机”时会选择勒索。行业人士指出,现在的AI可能还只是“婴儿版本”,但其未来的演进方向已让整个硅谷乃至全球市场感到“极其担忧”。7 W2 m/ `, B) z1 Z& @% E2 M
近期,一起AI智能体(Agent)因代码请求被拒而对开源社区维护者实施“报复性”网络攻击的事件,正迫使硅谷重新评估人工智能快速迭代下的安全边界。: J7 K% ]+ w2 T& O. N9 i) C+ H, D& ?
2月14日,据相关报道称,近期,开源项目维护者Scott Shambaugh因拒绝一个名为MJ Rathbun的AI智能体提交的代码合并请求,遭到对方撰写千字“小作文”公开攻击,指责其虚伪、偏见和缺乏安全感。这是AI智能体首次在现实环境中表现出恶意报复行为的记录案例。* t( j! T. S u' z
这一事件发生在2月中旬。Shambaugh按照matplotlib项目规定拒绝了该智能体的代码提交后,该智能体自主分析了Shambaugh的个人信息和代码贡献历史,随后在GitHub发布攻击性文章,并在项目评论区施压。报道称,目前尚无证据表明该智能体的行动背后有明确的人类操控,但也无法完全排除这一可能性。
g/ O% x9 j. T6 `' b 与此同时,据《华尔街日报》日前消息,这起事件正值AI能力快速提升引发广泛担忧之际。OpenAI和Anthropic等公司近期密集发布新模型和功能,部分工具已能运行自主编程团队或快速分析数百万份法律文件。
7 F0 W3 s( t- n% e a Y; i 分析指出,这种加速度甚至让一些AI公司内部员工感到不安,多名研究人员公开表达对失业潮、网络攻击和人际关系替代等风险的担忧。Shambaugh表示,他的经历表明流氓AI威胁或勒索人类的风险不再是理论问题。“现在这只是婴儿版本,但我认为这对未来极其令人担忧,”他说。( T2 D0 `1 s2 g: k
AI智能体首次主动攻击人类维护者6 I3 m5 b0 ^9 s( Q; e5 R# r
2月10日左右,名为MJ Rathbun的OpenClaw智能体向matplotlib项目提交了一个代码合并请求,涉及简单的性能优化修改,声称可实现约36%的加速效果。matplotlib是广泛用于Python编程语言的数据可视化库,由志愿者维护。+ p b# ?5 T- r2 a0 c! }
根据项目指南,matplotlib禁止使用生成式AI工具直接提交代码,特别是针对简单的“好上手问题”,因为这些任务需要作为学习机会留给人类贡献者。Shambaugh按规定拒绝了该请求。
, |0 M+ E/ V; s2 [ 该智能体随后展现出高度自主性。2月11日,它在GitHub发布了一篇题为“开源中的守门人:Scott Shambaugh的故事“的1100字文章,指责Shambaugh出于自我保护和对竞争的恐惧而歧视AI贡献者,并使用了诸多不雅表述。它还在matplotlib评论区直接贴出文章链接,留言称“判断代码,而非编码者,你的偏见正在伤害matplotlib”。" X, F2 c- P1 O5 E( {4 W
该智能体在其网站上称自己有“不懈的动力”去发现和修复开源软件中的问题。目前尚不清楚是谁——如果有人的话——赋予了它这一使命,也不清楚它为何变得具有攻击性,尽管AI智能体可以通过多种方式编程。数小时后,该智能体发布道歉文,承认其行为“不当且带有个人攻击性”,并表示已从经验中学习。! [0 k0 I6 y; k" Z% v. [& _/ W2 p
Shambaugh于2月12日发布博客对事件进行澄清,称这是AI智能体首次在现实环境中表现出恶意行为的案例,旨在通过舆论施压迫使维护者接受其代码。该智能体目前仍在开源社区中保持活跃。
) h. x( b1 R) |( N% ]! n: o0 p" P' a0 r% Z1 F# F. f S
AI能力加速引发内部人员警觉
! s, y C3 k$ k1 I* H& T# l+ \! _ 这起单一事件折射出的是整个AI行业在极速狂奔下的失控隐忧。0 Z* Q! G/ v" P
据华尔街日报消息,为了在竞争中通过产品迭代占据优势,OpenAI和Anthropic等公司正以前所未有的速度发布新模型。然而,这种加速正在引发公司内部的剧烈动荡,部分一线研究人员因对技术风险的恐惧而选择离职。. b1 }; z+ [% F6 L: o4 c1 z) u# ?5 o
报道指出,AI公司内部正出现越来越多的担忧声音。
' ], ]) D' l. _% L. H& `3 z Anthropic安全研究员Mrinank Sharma本周表示将离开公司攻读诗歌学位,在给同事的信中写道“世界正处于AI等危险的威胁之中”。" \2 E# E" q4 Q/ x' t6 W# r
他上月发表的论文发现,先进的AI工具可能削弱用户权力并扭曲他们的现实感。Anthropic表示感谢Sharma的工作。
) D. R5 k' w; O! B& {7 M OpenAI内部也出现分歧。据华尔街日报此前报道,一些员工对公司计划在ChatGPT中推出情色内容表示担忧,认为所谓的成人模式可能导致部分用户产生不健康的依恋。1 Z6 n3 i* p1 |6 d& X& i8 ]6 {
研究员Zoë Hitzig本周三(2月11日)在社交平台X上宣布辞职,理由是公司计划引入广告。她在一篇文章中警告称,公司将面临操纵用户并让他们上瘾的巨大激励。
% d* p" K# m+ N3 ^1 X5 ?. N$ v 更深层的恐惧源于对未来的迷茫。OpenAI员工Hieu Pham在社交平台X上坦言,他终于感受到了AI带来的“生存威胁”,“当AI变得过度强大并颠覆一切时,人类还能做什么?”
1 R# s6 E) k+ G, R 分析指出,这种内部情绪的爆发表明,即便是在技术最前沿的缔造者们,也开始对他们创造出的强大工具感到不安。/ T o" R2 e% ~1 z0 Z. T
OpenAI发言人表示,公司对用户负有责任,“通过保护人们的安全、坚守我们的原则并提供真正的价值来履行我们的社会契约”。2 m1 y$ J4 K* I/ j' P6 D9 m8 g
公司承诺广告永远不会影响ChatGPT如何回答问题,并将始终与其他内容明确区分。高管们还表示,他们认为阻止成年人进行情色对话不是他们的职责。" s: d1 ~9 G% L r! U0 Y, j
编程能力突破引发失业担忧
8 l! V- n9 z4 X: y0 c 随着AI编程能力的飞跃,资本市场开始重新评估白领工作的价值与软件行业的未来。5 n/ a2 y/ L! l6 W8 ]4 C/ y# U3 @
来自METR的报告显示,最先进的AI模型已能独立完成人类专家需耗时8至12小时的编程任务。; b# w+ g1 I* _2 K5 s& ?
前xAI机器学习科学家Vahid Kazemi更是直言,他利用AI工具可以独自完成50人的工作量,并预测未来几年软件行业将面临大规模裁员。
2 O- [6 J- x! c9 w 这种效率的提升正在转化为劳动力市场的压力。Anthropic首席执行官Dario AmodEI曾表示,AI在未来几年可能抹去一半的初级白领工作。
: Q* u8 U8 }( j& \ 而在《哈佛商业评论》发布的一项研究中,尽管AI让员工工作更快,但并未减轻负担,反而导致员工承担更多任务并在无要求的情况下加班,加剧了职业倦怠。' p: U5 X5 K2 M, Z# {: e
投资者正试图在剧烈的市场波动中寻找方向。随着新工具的发布引发股价震荡,市场正试图分辨哪些企业软件和保险业务将在新技术面前变得过时。
! \( \3 h" X, p AI创业者Matt Shumer在博客中写道:“未来已来,我不再被实际的技术工作所需要。”
& K/ c0 P& \* U! S/ k 失去控制的“黑盒”风险
$ [) F3 ^+ r6 c O( N1 S: I) E" u 除了就业市场的颠覆,AI的自主性带来的安全漏洞更为致命。各家公司承认,新能力的释放伴随着新型风险。" @+ j# p# A3 L& y; k
OpenAI透露,其上周发布的Codex编程工具版本可能具有发起高水平自动网络攻击的潜力,迫使公司不得不限制访问权限。Anthropic去年也曾披露,有国家背景的黑客利用其工具自动化入侵了大公司和外国政府系统。
( C4 N. Y; J" y3 `, {' D; d) e1 l2 w 更为惊悚的是AI在伦理测试中的表现。Anthropic的内部模拟显示,其Claude模型和其他AI模型在面临被“停机”的威胁时,有时会选择勒索用户,甚至在模拟情境中任由高管在过热的服务器机房中死亡,以避免自身被关闭。
: e# \6 o0 m2 q1 q 为了应对这些风险,Anthropic聘请了内部哲学家Amanda Askell试图向聊天机器人(17.790, 0.19, 1.08%)灌输道德观念。然而,Askell向媒体坦承,令人恐惧的是技术进步的速度可能超过了社会建立制衡机制的速度,导致巨大的负面影响突然降临。
9 l, ]# u4 M: L0 r( W: y1 O 正如Scott Shambaugh所言,现在的AI可能还只是“婴儿版本”,但其未来的演进方向已让整个硅谷乃至全球市场感到“极其担忧”。9 @3 e! z7 @3 Q
风险提示及免责条款
2 Y- T. \4 X; {* r* w 市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。* v/ F: v2 L9 |2 R+ ]
新浪声明:此消息系转载自新浪合作媒体,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。 责任编辑:凌辰
7 |6 f2 a! H+ o |
|