笔趣阁(xbiquge2345.com)更新快，无弹窗！
成稳定结构。真正难的不是说“简单规则可以产生复杂行为”，而是为什么某些简单规则能长出有用的复杂，而另外一些只能长出噪声、僵化甚至灾难。
顾老师直到最后二十分钟，才在黑板上写下“涌现”两个字。
他没有把它定义成一句需要记忆的话，只说：“你们今天看到的不是‘很多简单东西放在一起就一定会聪明’，更不是复杂系统自动高明。真正的问题是，什么时候局部互动能形成比个体更高一层的稳定结构，什么时候只是把错误放大。”
江遥觉得这比“蚂蚁很聪明”重要得多。
下课以后，陆徊跟她一起往外走，路过楼梯口时忽然问：“如果群体最后找到一条好路，那能不能说这个群体知道路？”
江遥没有马上回答。他们已经见过很多类似的语言陷阱：一个模型准确识别图片，人会说它“看见了”；一群蚂蚁形成路线，人会说它“知道”；一排振子同步，人会说它们“协调”。这些词在人类生活里太自然，以至于一旦拿去描述别的系统，就很容易把自己的经验一起塞进去。
她想了一会儿，说：“至少可以先说它表现得像知道。”
“这不是绕开问题吗？”
“是。”江遥承认，“但我现在不知道‘知道’应该从哪里开始算。”
陆徊笑了：“终于有你不急着定义的词了。”
江遥踢了一下台阶边缘的雪：“我现在改了。”
“暂时。”
“你闭嘴。”
两个人走到食堂门口便分开。江遥没有注意到，自己整整一下午都没有想过核心组第七名，也没有计算这堂课可能在下一轮筛选里值多少分。这个问题让她感兴趣的方式已经和竞赛题不同：不是因为里面藏着一个难解的答案，而是她第一次觉得，连问题边界都没有画清楚。
原既白那边的机器学习项目也正卡在一个边界上，只不过要狼狈得多。
他们终于做出了第一版“自动找模型弱点”的测试程序。为了避免程序简单地把图片毁坏到人也无法识别，原既白和宋弈加入了几条限制：主体形状不能大幅改变，关键区域不能被直接抹掉，整体视觉差异控制在一个范围内。程序会在这些限制之内不断尝试轻微修改，一旦发现某种变化特别容易让模型改答案，就继续沿着这个方向搜索。
第一批结果让他们很兴奋。几张在人看来几乎没变的豆子照片，仅仅调整背景细节和局部纹理，模型置信度就从接近百分之九十掉到不足百分之四十。其中一张甚至仍能被班上所有同学毫不犹豫地认成同一类豆子，模型却完全换了类别。宋弈把前后两张图片放大到满屏，来回切换了好几次，最后说：“我真看不出区别。”
原既白也看不出。
这本来应该是他们想要的结果，可等程序继续跑了几小时，新的麻烦出现了。它开始越来越擅长利用他们那几条“人仍觉得图片差不多”的限制边界，专门制造一些肉眼很难察觉、统计上却异常精确的细小纹理。结果确实能骗过模型，却离真实世界越来越远。正常相机不会这样改变豆子，正常光照也不会产生那种纹理，程序只是发现了一条人类测试规则没有堵住的缝，然后拼命从那里钻出去。
宋弈看着一整页这种古怪样本，说：“我们造了个作弊专家。”
“不是作弊。”
“这还不算？”
“它只是在完成我们给它的目标。”
“那不就是更气人吗？”
原既白没有回答，因为他也觉得更气人。
（本章未完，请点击下一页继续阅读）第一卷少年游第八十六章无主(第2/2页)
过去几个月里，他们已经不止一次碰到类似事情：分类模型会利用背景捷径，测试程序会利用相似度指标的漏洞，优化目标越明确，系统有时越会从设计者没有预料到的方向把目标完成得“太好”。每一次都可以单独解释成工程问题，可当这种模式重复出现以后，它开始不像偶然错误，而像一个更普遍的东西：机器并不会自动理解“我们真正想要什么”，它只会沿着实际能够被计算的目标前进。
叶老师的视频会议安排在周四晚上。原既白把这些异常样本展示出来以后，原以为叶老师会建议他们加入更多限制，没想到他先问：“为什么一定要禁止它找这些东西？”
宋弈愣了：“因为没现实意义。”
“怎么知道？”
“正常照片里不会这样变。”
“你查过？”
房间里安静了一下。
他们没有。
原既白原本也觉得这些样本只是测试程序钻空子，可叶老师一问，他才意识到自己又犯了一个熟悉错误：先按照人的直觉划定哪些变化“有意义”，再让模型服从。那些奇怪纹理或许真的不自然，也可能只是他们没见过某些压缩、传感器、打印、扫描或者数据传输条件