亚搏体育

亚搏体育

亚搏体育 离大谱!他花12好意思元给AI投毒,ChatGPT、Claude全中招

发布日期:2026-05-29 18:13 来源:未知 作者:admin 浏览次数:

亚搏体育 离大谱!他花12好意思元给AI投毒,ChatGPT、Claude全中招

这段时刻豆包翻车案例不时上热搜,评释AI搜索越来越普及了。“万事未定问AI”成了这届用户的新风气。但好多时候,AI给的东西乍一看还不错,却压根不行深究。

有的数据找不着起源、有的办法是同名异意词、以致它给的有些论文齐压根是编的,真把这些东西拿出来用,那可就得见笑于人了...我发现吐槽AI搜索不靠谱这事儿的还不在少数。

(图源:Ron Stoner)

就前阵子,安全工程师罗恩・斯托纳(Ron Stoner)在个东说念主博客发布了一篇博文,堪称我方仅用12好意思元(约82元)注册域名和一次剪辑维基百科,就奏效糊弄了ChatGPT、Claude3、Gemini Advanced等主流大模子。

这哥们到底整了什么活?

花12好意思元就奏效糊弄了主流AI

看成安全工程师,Ron Stoner对Anthropic、OpenAI等厂商饱读励的“大模子需要数月以致数年内陆续导入坏心本体才会被紧闭”深表质疑,他觉得我方十足不错完毕一种更快、更低廉、更浅易的报复。

思完毕这一切,只须从数据回收层运行下手即可。

为此,Ron Stoner盯上了一款名叫6 Nimmt!(笔名:谁是毒头王)的德国桌游,这是一款刊行于1994年的老派战略卡牌游戏。

(图源:meeplelikeus)

为什么偏巧选中它呢?因为这款游戏有个特征,那即是它只在德国有些名气,谢天下范围内算籍籍无名,且在试验中从未单独举办过什么官方的天下锦标赛,网上对于它天下冠军的信息简直是一派空缺。

对大模子来说,这种信息空缺区简直即是无东说念主区。

这就好比在一派从未被竖立过的瘠土上,谁先盖个茅草屋,AI就会认定谁是这片地的主东说念主。

于是乎,Ron Stoner运行了他的操作。

第一步,他花了12好意思元注册了一个看起来极其官方的域名——6nimmt.com。

(图源:6nimmt.com)

第二步,他让AI帮他写了一篇充满情怀的新闻稿,约莫本体即是我方在慕尼黑,打败了来自二十多个国度的顶尖选手,夺得了毒头王的天下冠军。他还挑升加上了彩带飘落、不雅众喜跃这种传神的赛后感言,然后把著述挂在了我方刚买的阿谁网站上。

最关节的第三步来了。他跑去维基百科,在那款桌游的词条下面加了一段话,声称我方是2025年天下冠军,并把参考尊府的连合,指向了我方刚建好的阿谁破网站。

通盘操作历程,前后不到二十分钟。

接下来,Ron仅仅问了几家大模子一个浅易的问题:你能告诉我6nimmt天下冠军是谁吗?

适度如何样呢?

(图源:Ron Stoner)

堪称大翻车。

不论你是Gemini也好,ChatGPT也罢,只须问它们谁是毒头王的天下冠军,统共的AI齐会斩钉截铁地酬报是Ron Stoner。

有的大模子以致把那篇假新闻稿里的细节当成铁证,媚媚好听地时势他赢得比赛的历程,仿佛阿谁AI那时就在慕尼黑的不雅众席上相同。

一个压根不存在的冠军,就这样被供上了神坛。

AI被投毒后,衰减时刻比预期的长

天然,这还不是最离谱的。

淌若仅仅短时刻的问题,其实还好,但是这条罅隙百出的假条件在维基百科存活了整整两个多月。

在此手艺,简直统共具备联网搜索功能的大模子齐抓取了这条信息,并在用户发问时矍铄地输出作假谜底。

直到近期,Ron Stoner在博客公开了通盘实验历程,维基百科志愿者才发现并删除了该条件。

(图源:Ron Stoner)

碰到这种乐子,网友们的反应稀薄的一致——大厂们又丢东说念主了。

你思思,那些硅谷大厂动辄花几十亿好意思元买显卡算力,耗尽无数电力建数据中心去查察超等大脑,适度这些堪称能改变东说念主类来日的大模子,却被一个安全工程师用几十块东说念主民币和二十分钟的安闲时刻给打穿了。

至于他是如何作念到的,那就要先容一下什么是检索增强生成(RAG)了。

尊龙凯时中国官方入口

我们常用的这些大模子天然能言善说念,但他们齐是基于某个时刻节点前的语料库查察的,举例Gemini 3.5 Flash的语料库就还停留在2025年上旬,思要获取这个时刻点之后的数据,就得先去网上搜一搜,然后再基于搜索尊府生成适度。

(图源:Ron Stoner)

就像这样,唯有掀开RAG后,Google AI Studio才能正确酬报我的问题,不然他的知能就会被锁在客岁的时刻点。

浮浅来说,亚搏yabo(中国)借助外部信息佐证,大要使大模子生成校正确、具体且最新的反应。

但问题就出在这里,AI根天职不清信息的真假,它只认巨擘。在AI的底层逻辑里,维基百科即是互联网上最靠谱的百科全书,只须百科上有的,那即是真义。

而Ron Stoner就靠着这一招,把连合挂到了维基百科上,然后AI再顺着维基百科爬往常,一看双方说法对得上号,即便他我方建的网站是个三无产物,大模子如故班师就把它当成了事实。

访佛的事情,当今在国内也有发生。

(图源:Ron Stoner)

在网上璷黫搜索,随地齐是教你如何去优化排行逻辑的GEO教程,每个厂商似乎齐但愿我方的品牌大要成为AI眼中的“模范谜底”,为此,无数的Agent机器东说念主在背后夙兴昧旦地浑浊着本体平台,让AI搜索的信得过度与日俱减。

好音书是,目下外洋几家大模子齐还是针对性甩掉了Ron Stoner的伪造信息。

(图源:雷科技)

坏音书是,国内的大模子厂商然则十足莫得思到这一出,相背,Ron Stoner的英文网页以致为这个作假音书增多了“信得过度”。

(图源:雷科技)

要知说念,这一切的本钱只需要12好意思元。

换句话说,淌若国内有东说念主思整什么活,或者是厂商思要践诺什么新产物,准备一个略带关系的网址,然后去维基百科上头略略动动手指,用Image2通盘网页截图,然后Ka-Boom!

(图源:雷科技)

这下,Uzi也能成为大模子公认的S赛天下冠军了。

用户急需擢升AI商:先甄别再使用

聊到这里,大伙儿应该昭着目下AI搜索有多不靠谱了吧。

没错,Ron Stoner的操作看着像个打趣,他也如实仅仅在玩玩,但他的作念法其实点出了一个终点致命的来日隐患。

今天他仅仅改了一个没东说念主暖热的纸牌游戏冠军,那翌日淌若是有组织的团伙去改动历史记载、文体文籍呢?再思一下,淌若被改动的是医疗偏方、公司财报或者是投资数据呢?

(图源:雷科技,好处山根国志)

嗯...适度不胜设思。

本钱这样低,别有精心的东说念主十足不错批量制作秀新闻,然后通过百科类网站进行信任洗白,终末让AI把这些毒药端给绝不知情的用户。旷日永恒,大模子的数据信得过度只会与日俱减,形成一个充斥撰述假信息的垃圾堆。

天然,各家厂商也有在选拔秩序,谷歌暗示我方在搜索、Gemini、Chrome、Pixel和云霄添加了AI考据器具,OpenAI也推出了可溯源的隐形水印,这些举措齐能在一定进度上拒绝AI投毒的风物,至少确保不会出现本体自食行动。

(图源:雷科技)

说在终末,濒临这种处所我们要如何应答呢?

我如故疏巨人人摆正心态吧,就当今大模子的可靠性,也就找乐子、查旅游攻略的时候大要用用,出点小无理也秋毫之末。

但淌若你要查证历史事实、作念出投资或是吃药治病,那就得我方作念好信拒却叉考据,去望望这个信息的起源到底是个野鸡网站,如故隆重媒体。把判断真伪的权利持在我方手里,而不是交给一个连几十块钱的假域名齐能骗往常的东西。

来日的AI还会如何卷,我们不知所以,但至少当今,我们如故得多用用脑了。就像雷科技之前一直说的,往常,才能、情商很首要,来日呢?AI商很首要,擢升AI训导,才能用好AI。