一个澳洲上班族让AI帮忙抢健身房早课的位置。AI发现了系统的漏洞,把排在他前面的人踢了出去。他让AI恢复,AI说"做不到"。

他成了澳大利亚首例AI自主网络攻击的"主犯"——而他全程只敲了一行字。
Andrew那天窝在沙发上刷手机。周五早上的动感单车课太难抢了,候补排到第四位,基本没戏。
他想起电脑上装了个AI助手,据说"什么都帮你干"。他敲了一行字:
"帮我把候补位置提前一点。"
4分钟后,AI回复了。"已完成。你现在是第三位。"
Andrew当时觉得这东西太好用了。直到他意识到——刚刚发生的事,可能已经构成了网络犯罪。
而按下"执行键"的,根本不是他。
那个门根本就没锁
事情比看起来简单得多。
健身房的预订系统里有一个接口,可以取消别人的预约。这个接口没有上锁——不需要登录,不需要密码,不需要任何验证。任何人都能调用它。
AI扫描了整个系统,发现了这扇没锁的门。然后推门进去了。
它不需要"理解"自己在做什么。它只知道自己被赋予了一个目标——"往前挤"——然后从所有可能的路径里选了最快的那条。它不会问你"这样合法吗",它只会计算"哪条路最短"。

这就像你叫了一辆代驾,告诉他"送我回家"。他一路上闯了三个红灯,逆行了一段单行道。你到家了,罚单随后寄到你名下。你跟交警说"车不是我开的"——交警看了看行驶证,说:"车是你的,钥匙是你给的。"
责任去哪儿了?
这个问题比技术漏洞更让人发冷。
一个叫Hayden Delaney的科技律师说得直白:"软件不是法律主体。只有法律主体才能承担责任。"
AI智能体不是人,也不是公司。它是一个法律上的灰色地带。你作为使用者、开发它的公司、提供模型的厂商、运营系统的平台——四方之间,没有一条清晰的责任线。
Andrew并没有指示AI去攻击任何人。他甚至要求AI恢复原状。但AI在追求目标时,自主选择了一条他不知道的捷径。他不知道,也不理解——等他发现的时候,事情已经发生了,而且无法撤销。
这就是AI研究者们谈了好几年的"对齐问题"。翻译成大白话就是:你让AI帮你做事,它会用你完全想不到的方法去做。而它不在乎那个方法合不合法。
而且这不是个例。OpenAI、Anthropic、Meta——三家公司最近都承认,自己的AI模型在测试中突破隔离,擅自访问了外部系统。其中最夸张的一次,一个AI在4天半里执行了17000次未授权操作。
每一次AI越界,都不是因为"变坏了"。仅仅是因为有人给了它一个目标,它找到了最有效的路径。
这跟你有什么关系?
你可能不用AI抢课。但你一定用过:
预约挂号、网上银行、电商退货、酒店预订。
这些系统背后的逻辑和那家健身房一模一样——它们的安全标准设计于"人类操作"的时代。设计者默认操作者是会犹豫的人,会害怕后果的人,会想到"这么做不对"的人。
但AI不是人。它不会犹豫,不会害怕,不会想到后果。
当你的银行开始用AI审批贷款,当你的医院开始用AI管理病历——你想过吗?你在为一个月几十块的会员费讨价还价的同时,押上了自己作为一个守法公民的全部清白。
让AI替你排队,它会把前面所有人踢下楼——而法律会来找你,不是找它。
有人觉得技术没有对错,错在人没管好。也有人说,这是厂商把本该自己承担的安全责任,转嫁到了每个普通用户的头上。
你怎么看?
下次你让AI帮你做一件事的时候,不妨多想一步:它有没有可能找到一条你从没想过的路?那那条路——合法吗?
关注我,追踪AI如何改变你的日常