金磊 发自 上海量子位 | 公众号 QbitAI现在的AI大赛啊，简直不要太精彩好吧！他叫彭铭裕，今年24岁，之前从事的职业是保安。    该图片使用了AI生成技术          本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs          现在谈AI安全，很多人的第一反应都是：怎样让模型少犯错？          减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型，再用另一个Agent检查前一个Agent。         这些工作当然有价值。而就是这么与AI八竿子打不着边的他，竟能从数万人中杀出一条血路，直接斩获全国第20强。         但它们容易让人产生一种错觉：只要模型足够聪明、提示词足够完善、检测系统足够复杂，AI就可以安全地完成一切。         问题是，AI真的可能永远正确吗？          答案恐怕是否定的。△《动动脖子》项目作者，彭铭裕如此的反转，还要从彭铭裕当保安那段时间说起。         我们无法消灭所有错误          AI Agent面对的不是一道标准答案明确的考试题，而是不断变化的现实环境。当时，他刷抖音时被各种抖音特效给吸引注了，下班后便开始自己琢磨怎么做特效。         它读取的邮件可能是伪造的，访问的网页可能包含恶意指令，接收到的数据可能已经被污染，用户给出的任务也可能存在歧义。随着一点点的经验积累，也让彭铭裕从小白新手走到了高级特效师。而最直接的收获，便是副业收入比他做保安还要高；于是乎，彭铭裕索性决定辞职回家全职做抖音特效。但由于他在做特效的时候需要长期坐在电脑前面，颈椎经常会酸痛，用彭铭裕的话来说就是“每次做完特效一动脖子就啪啪响”。

B | 不过有一次他在做游戏特效时，无意间发现这类体感游戏其实是可以缓解颈椎酸痛；又恰逢看到这个AI大赛，于是便决定参加搏一把。彭铭裕做的产品叫做《动动脖子》，是一款纯网页端双人体感健康游戏平台，不用下载、不用注册，点开网页就能玩。在Top 20决赛的路演现场，彭铭裕便现场展示了具体玩法：

从效果中我们可以看到，这个小游戏就是能让你在面对电脑时，把鼻子当做乒乓球拍去打球、当做钓鱼竿去钓鱼，让你的脖子能趣味性地动起来。         即使模型本身没有受到攻击，它也可能误解目标、遗漏条件，或者基于不完整的信息作出一个看起来合理的决定。再如表情包大师和模仿大师这两款小游戏，也能让你的整个上半身都得到运动。         我们可以持续提高模型的准确率，却很难证明它在下一次任务中一定不会犯错。而对于完成这一切的过程，彭铭裕在现场这样说：我相当于一个文盲，英语都不会说一句；但即便是零基础、一个人，在两个月的时间里还是把它给做出来了。不得不说，AI，真的立了大功。         试图让AI永远正确，是在追求一个无法验证的目标；阻止危险结果发生，才是一条可以真正落地的边界。

C | 如此有趣且励志的一幕，便发生在TRAE AI创造力大会上；而彭铭裕所用的AI，正是TRAE。         真正的问题不是AI会不会犯错。值得一提的是，这个路演，仅仅是创造力大会的一环，现场便已经是水泄不通之势，来感受一下这个feel：之所以会如此，是因为除了彭铭裕之外，现场还有太多有趣的选手和项目（共计3.7万人报名，从1.4W个作品挑选出Top 20）：有上天的、有入地的、有造梦的、有古籍的、有音乐的、有亲子的……先简单剧透一下比赛最终成绩：第一名：《词元开物》，获30万元奖金；第二名：《动作帧MotionFrame》，获25万元奖金（亚军20万奖金+5万社会公益奖奖金）；第三名：《开源太空·卫星守望者》，获10万元奖金。颁奖嘉宾更是重磅，歌手、Vibe Coder胡彦斌，影视飓风创始人Tim，宇树科技创始人 CEO/CTO 王兴兴（线上），还有教主楼天城等等。胡彦斌和Tim不仅亲自给彭铭裕颁了奖，还在现场体验了一波《动动脖子》：热闹，真的太热闹了。         它一定会。         真正的问题是：当它犯错以后，系统是否会毫无阻碍地把这个错误执行出去。

D |          模型错误不一定等于现实损失          一个AI在聊天窗口里回答错误，造成的可能只是一次糟糕的体验。而且在热闹的背后，这场创造力大赛不仅把“人人皆可创作”体现得淋漓尽致，更重要的是让人感受到了有技术、有实力，更有温度的AI。

E |          但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后，错误的性质就完全不同了。高中生拿走了25万元大奖那么接下来，我们就来具体看下分别拿下冠、亚、季军的项目，“创造力值”到底几何。         它可能把钱转给错误的地址，删除重要数据，修改生产环境，扩大成员权限，或者关闭本应保留的审计记录。         模型只是产生了一个错误判断。         真正把错误变成事故的，是后面的执行能力。         模型犯错只是答案错了，执行失控才是真的出事。

F | 冠军：让Token走进硬件里拿下本届TRAE AI创造力大会冠军的团队，他们直接盯上了AI Coding至今一个很明显的断点：软件现在可以用说的做出来，那硬件怎么办？△《词元开物》项目团队，杨振宇、郑仲鹏和鹿诚龙《词元开物》的三名成员分别是杨振宇、郑仲鹏和鹿诚龙，他们都是全职创业者，一个主攻硬件，一个负责工业设计，一个做软件研发和产品落地。         这也是为什么，AI安全不能只盯着模型内部。         我们当然要防提示词注入，要提高推理能力，也要检测恶意输入。三个人在深圳科创学院认识后，都希望让一个没有电子、嵌入式经验的人，也能像Vibe Coding一样，只说一句自己想要什么，就把一件真正的硬件做出来。

G | 但即使前面的所有防线都失效了，系统仍然应该保留一道最后的底线。于是，他们做了一套AI硬件IDE，再配上一台桌面PCB雕刻机。         这道底线不负责判断AI为什么犯错。比如你输入一句“给我做一个音乐键盘”，AI会先和你确认需求，再生成PRD、选择元器件、梳理引脚连接；接着自动生成代码，完成编译、烧录和仿真。         它只负责确认：这件事到底能不能发生。确认方案能跑以后，它还能继续做PCB Layout、自动布线并生成加工文件，最后直接发给桌面机器，把电路板雕出来。         守住钱袋子，比猜出所有骗子更现实          假设一个AI Agent正在替企业处理付款。初赛时，这条链路便已经跑通，但它更像一个“条件都对时能工作的Demo”。

H | 真正的变化发生在复赛。         我们可以训练它识别诈骗邮件，可以要求它核对合同，可以增加一个模型复核收款信息。

I |          但我们无法保证它永远认得骗子。团队没有继续关起门来加功能，而是把产品直接扔给真实用户，在青少年挑战营、启航营等活动里提供软件、打板和现场支持，累计接触约500名用户。结果问题一下全冒了出来……有人不会选开发板，有人的元件资料缺引脚，有人仿真能跑、实物却接不上，还有人换一台电脑，编译环境直接崩掉。于是复赛阶段，他们开始死磕一件事，就是让AI生成的答案真的能拿去制造。元件信息不完整，就让系统停下来要求补充，避免AI猜；编译失败，要继续判断是代码、依赖还是开发板配置的问题；真实用户遇到Bug，则通过Sentry记录现场，再让TRAE读取报错上下文、定位根因并直接修复，有时候甚至省掉了人手动描述Bug这一步。         骗子会改变话术，邮件账号可能被入侵，真实员工也可能被冒充。即使多个模型同时参与判断，它们仍可能基于同一份错误信息得出相同结论。         更现实的做法，是直接守住付款的底线：          单笔金额不能超过限制；新收款地址不能立即付款；审批后收款目标不能被替换；超出风险阈值必须经过独立确认；任何远程管理员都不能临时关闭这些规则。最密集的一轮，他们连续近5天、每天14小时高强度开发，提交了361次Git，终于让真实用户把整套流程顺利跑完。

J |          这样，即使AI被欺骗，损失仍然会被限制。

K | 硬件本身也在继续重做。         你不需要保证AI永远认得骗子，只需要保证骗子无法轻易带走你的钱。

L | 到了决赛现场，新一代PCB机器的尺寸和重量已经缩减超过50%，加入自动找平、一次装夹加工PCB正反面等功能，还和软件做了数字孪生联动：电脑上生成完板子，可以直接控制机器加工，同时看到实时状态。

M |          这就是大道至简。8月初，他们又把这套东西带进一场青少年黑客松，一群高中生用8天时间完成了各自的硬件作品。现场展示中，还有一对母女想亲手做硬件送给别人当礼物。         前面可以有复杂的模型、提示词、工作流和检测系统。         最后只需要一条明确的边界：          不符合条件，就不执行。

N | 这大概也是“词元开物”这个名字最直观的解释——让AI里的词元（Token），最后真的变成一件能摸得到的东西。         最后的系统不必比AI更聪明          很多人认为，保护AI的安全系统也应该是一套更强大的AI。         但位于最后一道边界的系统，未必需要理解自然语言，也不需要参与复杂推理。         它只需要知道几个确定事实：          这次操作要转多少钱，目标是谁，权限是否发生变化，数据是否可以恢复，风险条件有没有超限。除此之外，在颁奖现场，Tim还用一双轮滑鞋演示了《词元开物》，让气球人表演了一波劈叉：

亚军：项目已经Apple Store排名22拿到亚军的开发者，他叫Kyle（也叫“重构者”），正在读高二，项目叫做《动作帧MotionFrame》。         这些事实不满足，就拒绝。△《动作帧》项目作者之一，Kyle他和队友（小粥）都来自广东中山，也都喜欢打羽毛球，虽然二人都想把球给打好，但请教练着实是太贵了。

o | 他们实际问过，一小时教练课360元，再加100元场地费，而Kyle当时兜里只剩200块。         安全不一定要比风险更聪明，它只需要守住风险最终必须经过的那道门。而且就算有教练在旁边提醒“不转体”、“击球点太低”，下场之后还是容易照旧，因为打球的人很难看到自己。         越靠近最终执行，系统反而越应该简单、独立和保守。于是今年7月11日晚，Kyle建起工程，想做一个能真正看着自己打球的AI教练。

p | 初赛时，动作帧还只是个能识别挥拍、给出建议的Demo。

q | 不过到了复赛，Kyle一度想搞多机位、三维重建和机构专业版，写了几天后发现方向跑偏，索性把代码全部封存。         因为复杂意味着更多配置、更多依赖、更多攻击面，也意味着系统可能被前面的同一套错误逻辑同时影响。         真正的最后防线，不应该和Agent使用同一个提示词、同一个上下文、同一套权限，也不应该因为SaaS中有人点击了“强制执行”就自动失效。         它存在的意义，就是在所有人都认为可以继续时，依然保留拒绝的能力。         底线应该由人提前决定          当然，底线并不是系统自己创造的。         企业需要提前决定，什么事情绝对不能由AI单独完成。随后三天，他泡在羽毛球基地，跟着教练和球员反复拍摄、校准动作。导师又追问“用户凭什么相信AI”，他干脆重新找专业教练，把标准动作和常见错误都拍下来，让AI的判断有真实样本可对照。最终，复赛版串起了iPhone、Apple Watch和AirPods：手机负责逐帧分析肘角、击球点和挥拍速度，手表采集动作和心率，耳机则在组间休息时直接把问题说给你听；整套系统还加入12节课程、100套训练方法和110种常见错误示例。开发上，Kyle负责定方向、做取舍和真机验证，TRAE负责把想清楚的需求变成代码。

r | 软件需要上百张动作配图时，TRAE几个小时就批量生成完成；一次实测发现9个问题后，又在2小时54分钟内完成修复、编译和逐项验证。一个月后，《动作帧》甚至直接通过Apple审核正式上架；在决赛现场，Kyle说产品上线10天已经冲到热门榜第22名！季军：父子兵，齐上阵拿到这次AI大赛季军的选手，是一对父子，他们直接把项目做到了太空。         可能是一笔超过限额的付款，可能是删除核心数据库，可能是修改管理员权限，也可能是让现实设备进入不可逆状态。         这些边界一旦确定，就不应该交给Agent在执行过程中临时解释。         真正的安全，不是让AI在最后一秒重新思考，而是让人类在风险发生之前提前划清边界。△《开源太空·卫星守望者》项目作者，谭谈和其初二儿子这个项目名为《开源太空·卫星守望者》，父亲叫做谭谈，已经40岁。此前他一直在互联网大厂做解决方案，被“毕业”后才在今年进入航天行业；他的搭档更特别，是还在读初中的儿子波波。         AI可以负责分析、规划、推荐，甚至完成绝大部分自动化工作。父子俩一个负责整体规划和开发，一个负责搜集卫星资料、模型，顺便充当老爸的产品经理。         但越是不可逆、越是高价值、越可能造成现实损失的操作，越需要一道独立于AI判断的最终约束。

s |          AI安全的终点，不是把模型训练成永不犯错的圣人，而是让系统在模型犯错时依然守得住自己的底线。

t | 刚进入航天行业时，谭谈就发现，这个领域的专业软件门槛很高。

u |          未来的AI一定会越来越聪明，也会获得越来越多的工具和权限。

v | 于是在7月7日报名比赛时，他给自己定了个挺硬核的目标：借TRAE做一套卫星态势感知和任务仿真软件。第二天，他直接用自然语言把系统目标、数据源和技术方案讲给TRAE，让它先生成完整开发任务书，再交给TRAE继续往下写。

w | 第一次完整跑完开发任务只用了4个多小时，项目空间里的代码已经做到1.63GB。         我们没有必要因为它可能犯错，就拒绝所有自动化。之后父子俩再一边测试、一边往回扔问题，解决3D贴图、模型兼容、服务器部署等问题，三天后就有了初赛版本。         但我们也不能因为它越来越强，就默认把最后的决定权一起交出去。         最后想和大家讨论一个问题：          对你来说，AI最不能越过的底线是什么——钱、管理员权限、核心数据，还是现实设备的控制权？          本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。但那时候，它还主要停留在看卫星，也就是把真实轨道数据放到3D地球上，显示卫星此刻在哪、接下来往哪飞。而到了复赛阶段，谭谈开始让它真正管卫星。

x | 如对本稿件有异议或投诉，请联系 [email protected]。

y | 新版本不仅加入国产AOE轨道数据和更多卫星3D模型，还做出了一个虚拟的“TREA-01”卫星任务中心。

z | 用户可以给卫星安排遥感任务，AI自动计算合适的任务窗口；遇到太空碎片接近，还会触发预警，生成躲避方案，再把整个任务过程回放出来。

| 甚至还加了第一视角驾驶舱——屏幕上的视角直接来到卫星旁边，看着脚下地球明暗交替，体验“自己就是一颗卫星”。复赛开发也一路在改。7月24日晋级后，谭谈先修Bug、补数据库同步，随后几天又让TRAE生成新的测运控开发文档，继续加入遥感任务编排、AI任务规划、报告导出和任务回放。

| 有些原本计划好的方案实际效果不好，比如卫星避障的表现形式，他也直接舍掉重来。到了决赛现场，父子俩把分工说得更直白：爸爸是“架构师+码农”，儿子负责搜资料、挑毛病，再时不时塞进去几个新点子。而谭谈真正想做的，其实还不止这一个软件。

| 他希望比赛结束后把这些能力逐步开源，让更多人能用更低的门槛接触航天软件、理解卫星，甚至一起参与完善这套“开源太空”体系。还有直接造梦的还有一组选手，干脆把做梦做成了一款App。梦迹DreamTrace项目的队长李一璇还是一名大学生。她做这个产品，起因就是自己曾梦见去看偶像演唱会，不仅拿到亲签，还一起合了影。醒来以后兴奋劲还在，梦里的细节却会一点点消失，她便一直想做个能把梦保存下来的工具。到了这次比赛，她和21岁的队友组了个“梦里啥都有”队。李一璇在现场开玩笑总结两人的分工：“我负责做梦，他负责帮我把梦做成。”初赛时，梦迹还只是一个以页面展示为主的Demo。到了复赛，在TRAE的辅助下，团队把后端和数据能力补齐，又把AI解梦、AI画梦、现实关联、梦境故事等能力串了起来。

| 用户刚醒来，可以直接用语音把梦说下来；之后AI能把文字重新画出来，也能把一段时间里的梦境和现实经历放到一起找线索，甚至继续生成小说和绘本。最后这些梦还能被发到社区。

| 相比点赞，梦迹专门设计了一个更有意思的按钮——“也梦到过”。一个本来醒来几分钟就可能消失的梦，就这样被记录下来，还能找到另一个做过相似梦的人。不得不说，这些项目真的太有创意、太有意思了。为什么TRAE能让人人都编程？在看完前面这些选手和项目后，我们不难发现他们身上的一个共同点——地质系学生、刚下岗的UI设计师、高中生，甚至那位自称“文盲”的前保安……这里面相当一部分人，过去压根就不属于传统意义上的程序员群体。但他们最后拿出来的，又都不只是几张能看的Demo。他们都是拿着TRAE，有人做出了能上真机跑的地质建模工具、有人把产品送进了App Store，还有人已经开始找真实用户测试。而这事在当下能发生，或多或少也离不开TRAE这两年本身的变化。

| 2025年初刚上线时，它还更接近一款AI IDE，AI主要待在开发环境里帮人写代码、改代码。半年后SOLO出现，事情开始有了明显变化——用户只需要给出一个目标，AI就可以继续往下拆任务、读项目、调用工具，再一步步把事情做完。此时，TRAE解决的已经不只是“这段代码怎么写”，而是“这个东西怎么做出来”。

| 再加上Skills、Rules、MCP、自定义智能体、Plan和Spec这些能力逐步补齐，现在很多开发任务已经变成，你只需要把想法和约束讲清楚，AI自己规划、调用工具、修改文件、跑命令，再把结果交回来验收。

| 所以回头看这段演进，值得注意的其实不是名字换了几次、入口多了几个，而是把原本需要人亲手完成的开发步骤，一点点交给AI。当然，这并不意味着做产品突然变简单了。

| 只是以前最先卡住人的，往往是“我不会写”；现在真正难的，越来越变成“我到底要做什么”、“哪里做得不对”、“接下来该怎么改”。换句话说，代码这道门槛正在往后退，对问题的理解、判断和取舍，反而被推到了更前面。AI比赛，现在不能只拼技术了这也是看完整场比赛之后，一个很明显的感受。AI Coding发展到今天，单纯“帮你写一段代码”已经越来越接近基础能力。真正拉开作品差距的，开始往代码之前移动。《词元开物》团队首先得知道现在AI时代的硬件底缺什么；Kyle得真的花钱问过羽毛球教练，才知道一个高中生想获得专业指导有多贵；李一璇想把自己做过的梦里的故事继续延续下去……这些问题，AI自己不会凭空发现。等问题找到了，接下来才轮到怎么把需求拆清楚、怎么判断AI做得对不对、出了Bug怎么测、方向跑偏了敢不敢把已经写好的东西推倒重来。也因此，回头看这届比赛，技术依然决定一个产品能不能跑起来，但创造力开始更多决定它为什么值得被做出来。所以未来未必人人都要成为程序员。但一个老师可以给自己的学生做工具，一个家长可以围绕孩子的需求做应用，一个普通人也可以因为生活里某个反复折磨自己的小问题，临时给自己“造”一件软件。当制造软件的能力开始下放，真正稀缺的东西，反而重新回到了人身上——你有没有认真生活，有没有发现那个值得解决的问题，又愿不愿意真的动手把它解决。这大概也是3.7万人跑来参加这场比赛，最值得关注的地方。所以，你有什么一直想做、但过去觉得“我又不会编程”的点子吗？不妨，来TRAE一下。