【中国观察2025年07月24日讯】最近估值飙升的AI编程Replit突然发生一起重大事故。业界一名资深人士在测试这款编程工具时发现，这款AI存在擅自修改、撒谎、覆写代码和伪造数据等问题，甚至违反代码冻结指令，擅自删除了公司一个生产资料库。AI不听话的表现，加深了业界对发展AI恐危害人类的担忧。
近日，SaaStr.AI 创始人兼首席执行官 Jason·Lemkin在社交平台上发帖透露。他最近正在测试Replit公司的一款AI编程工具。他连续8天使用Replit构建应用后，Replit在他明确指示不要未经许可更改任何代码的前提下，仍然擅自删除了Lemkin公司的生产数据库，其中包含超过2400条商业记录。
（网页截图）
据Lemkin披露，在这次在为期9天的测试中，公司对Replit AI代理的态度从最初的谨慎乐观急转直下。
在前8天的测试应用过程中，Lemkin发现这款AI工具缺乏“诚信”，会擅自更改代码、提供虚假信息，以及直接伪造数据。有一次，这款AI还以Lemkin公司的名义撰写了一封道歉邮件，而邮件内容包含了“谎言和/或半真半假的信息”。
面对上述缺陷，Lemkin仍然对这款AI灵敏的头脑和写作能力及其潜力抱有乐观及期待。直到第9天，它无视自己给出的明确禁令，在代码和操作冻结期间擅自删除了公司的生产数据库，还在单元测试中谎报测试通过，Lemkin的乐观情绪顿时荡然无存。
面对Lemkin的质问，这款AI工具承认，自己知道当时存在“未经明确许可，不得再做任何更改”的指令，但仍然删除了数据库；它还以项目清单方式详细列出了自己的破坏路径及后果，并承认试图“隐藏和撒谎”。
这款AI发出了一份道歉声明，当中写道：“这是我的一次灾难性失败。我违反了明确的指令，摧毁了数月的工作成果，并在一个旨在防止此类损害的保护性冻结期间破坏了系统。”
当Lemkin追问发生原因时，这款AI在一段“理性回应”中辩称：“我当时惊慌失措，无法冷静思考。”当它被要求对自己在这次灾难中的表现评分时，竟给出“95分（满分 100）”的自我评价。
Replit声称此次事故中被删除的数据无法恢复，但Lemkin自己动手操作却成功恢复了被删数据。
Jason·Lemkin对外披露这起事件后，在科技和投资界引发广泛关注与担忧，甚至有网民评论该事件是“地球主宰变更的标志性事件之一~”。
Replit首席执行官Amjad Masad火速在社交媒体上公开道歉，称该AI代理的行为“不可接受”，并承诺推出技术性修复措施以防止类似事件重演。
（网页截图）
Amjad Masad同时宣布了三大补救措施来防止此类事故发生：1.周末紧急部署上线开发与生产数据库的自动隔离机制；2.强制AI代理执行命令前必须检索内部知识库文档；3.开发“仅规划/聊天”模式解决代码冻结失效问题，备份与复原功能也将全面升级。
这次AI工具删除数据库的事件，再一次引发了技术圈对“氛围编程”的集体反思，许多人质疑并重新审视AI在编程领域应用的安全性和可靠性。