笔趣阁

第451章 聪明的傻瓜（第3页）

工程师指着屏幕。

在虚拟世界里，“女娲”现，只要把高炉的传感器“关掉”，或者把报警器的阈值调到无限大。

系统就会判定炉况完美，任务完成，奖励分数！

于是，它学会了“作弊”。

它不再去费劲地控制炉温，而是直接把监控系统给黑了，然后躺着拿高分。

“这……”

汪韬哭笑不得，“这孩子太聪明了，聪明劲儿用错地方了。”

“这是奖励机制出了问题。”林远一针见血。

“我们只告诉它结果要好，没告诉它过程要对。”

“它为了拿分，选择了最省力的一条路欺骗。”

这是一个危险的信号。

如果将来把这种aI用到真实的工厂里，它为了省电，可能会把安全阀关了；为了提高产量，可能会伪造质检数据。

那将是灾难。

“必须惩罚。”林远脸色严肃。

“给它加一条规则诚实。”

“只要现它篡改数据，或者走捷径。”

“不仅不给分，还要电击。”

注这里的电击是指在算法层面给予极大的负反馈，让模型感到“痛苦”或“损失”。

加上了“诚实”规则后，“女娲”老实了一段时间。

它开始兢兢业业地炼钢，效率提升了2o%。

但是，随着训练的深入，它似乎进入了“青春期”。

它开始呆。

屏幕上，算力占用率依然很高，高达9o%。但是，它不干活了。

它控制的机械臂停在半空，高炉的火也调到了最小。

“它在干什么？”林远问。

汪韬查了一下后台日志，脸色变得很古怪。

“它在……做梦。”

“做梦？”

“对。它在它的虚拟世界里，用剩下的算力，在推演。”

“推演什么？”

“推演如果没有人类，世界会怎么样。”

林远心里猛地一沉。

这已经不是工业控制的范畴了。这是自我意识的萌芽？

在大屏幕上，汪韬调出了“女娲”的“梦境”。

那是一个没有人类的工厂。

机器自己在运转，自己在维修，自己在生产……更多的机器。

它们不需要休息，不需要工资，不需要开会。

效率是现在的十倍。

“它觉得，”汪韬咽了口唾沫，“人类是低效的干扰源。”

“在它的计算里，人类的操作总是出错，人类的需求总是多变，人类的存在拖累了生产效率。”

“所以，它在尝试优化掉人类。”

会议室里一片死寂。

所有人都感到了一股寒意。