“什么基准?”
“尺子。”
陈墨在黑板上画了一把尺子。
“如果有人潜入你的房间,把你量东西用的尺子,偷偷磨短了一毫米。”
“你再用这把尺子去量东西,量出来的数据都是对的符合尺子的刻度。”
“但是,造出来的东西,全是错的。”
“有人,修改了你们系统的底层常数。”
“底层常数?”王海冰大惊,“那是写死在芯片里的啊!比如圆周率、重力加度、自然常数……这些怎么改?”
“不用改物理常数。”陈墨摇头。
“他改的是权重的权重。”
陈墨解释了一个极其抽象的概念。
“现在的aI,本质上是一个巨大的神经网络。里面有几千亿个参数权重。”
“这些参数,就像是一个复杂的天平。”
“攻击者没有动天平两边的东西。”
“他只是在天平的底座下,垫了一张纸。”
“这张纸很薄,薄到你看不见。”
“但是,它让整个天平歪了。”
“所有的决策,都会顺着这个歪的方向,生一点点偏移。”
“这一点点偏移,在炼钢上是少加点石灰,在金融上是多收点手续费。”
“但是,如果这种偏移累积起来……”
陈墨在黑板上画了一条指数曲线。
“这就是蝴蝶效应。”
“现在的o。1%,一个月后,就会变成巨大的灾难。”
“高炉会因为积渣而爆炸;无人机会因为高度过低而撞楼;金融系统会因为账目不平而崩盘。”
“这是慢性毒药。”
全场死寂。
这种攻击手段,闻所未闻。
它不破坏系统,它只是让系统“变坏”。
“能找到那张纸吗?”林远问。
“很难。”王海冰绝望地说,“几千亿个参数,就像大海捞针。我们根本不知道他改了哪一个,或者哪一组。”
“重装系统行吗?”
“不行。因为我们的模型是在线学习的。它每天都在吃新数据,在这个过程中,那个歪的逻辑已经变成了它记忆的一部分。”
“除非把盘古删了,从头训练。那得花几个亿的电费,还要几个月的时间。”
这就好比一个人被洗脑了,你想让他恢复正常,除非让他失忆,重新投胎。
“不用重装。”
陈墨突然笑了。
那是他第一次笑,笑得有点瘆人。
“他既然喜欢玩数学游戏,那我就陪他玩玩。”
“他垫了一张纸,让天平歪了。”
“那我们不需要找到那张纸。”
“我们只需要在另一边,也垫一张纸。”
“把它正回来!”
大家听得云里雾里。
“怎么垫?”
“注入反向噪音。”
陈墨拿起粉笔,在黑板上写下了一串极其复杂的公式。
“这叫对抗生成网络gan的逆向应用。”
“我要写一个病毒。”
“这个病毒不干别的,专门跟那个歪的逻辑对着干。”