今天最值得聊的是两件事,一个是AMD收购Taalas把模型刻进芯片里,另一个是字节拒绝蒸馏捷径要硬刚十万亿参数模型。这俩事看似不搭界,其实讲的是同一个故事:AI的竞争已经从"谁会炼模型"变成了"谁能在算力成本上卷死谁"。
AMD这步棋很狠。把模型直接刻进硅片里做推理,本质上是把软件固化为硬件,推理延迟和能耗直接拉到物理极限。这思路跟GPU那种通用计算完全不同,走的是专用集成电路的路子。但工程上的坑也很明显,模型一旦刻进去就没法改,万一架构迭代了你这块芯片就是废铁。所以这东西只适合那些已经收敛的、高调用量的基础模型场景,比如推理侧的特定任务。对普通开发者来说短期内没啥影响,但这事说明一个趋势:推理成本的下限正在被硬件重新定义,未来跑模型的成本可能比你想的低一个数量级。
字节那边更有意思。张一鸣拒绝蒸馏,要自己从头训十万亿参数的模型,这态度在当下遍地蒸馏的圈子里算是逆行者。蒸馏这条路确实快,拿别人的模型当老师,几周就能追到八成水平,但天花板也是别人给你封死的。字节要的是Seed模型能进世界第一梯队,这个目标靠蒸馏永远到不了。不过十万亿参数的训练成本是天文数字,算力、数据、工程稳定性哪个环节掉链子都是灾难。这条路走通了字节就是下一个OpenAI级别的玩家,走不通就是几百亿打水漂。但话说回来,到了这个体量的公司,不赌这个才是最大的风险。
再说说那个HN上热帖"代码从来不是最难的部分",这话说得对也不对。对资深工程师来说,代码确实不是最难的,需求理解、系统设计、跨团队协作才是。但对大量初中级开发者来说,写代码本身就是瓶颈,AI编程工具正在帮他们越过这个坎。今天GitHub trending里一堆Claude Code的周边工具,OmniRoute搞了个290多个provider的统一网关,book-to-skill把技术PDF直接变成Claude Code的技能包,这些工具的爆发说明一件事:AI辅助编程的生态正在快速成型,但真正的价值不在代码生成本身,而在于把开发者的工作流重新编排。那些只做代码补全的工具很快会被淘汰,能深入理解项目上下文、记住团队决策历史的工具才有未来。
我的判断是,AI基础设施层正在经历一次硬着陆式的成本重构,不管是芯片级固化还是十万亿参数训练,都在把AI的门槛往两头推:底层越来越贵越来越专业化,应用层越来越便宜越来越普惠。对普通开发者来说,现在最该做的不是去卷模型训练,而是想清楚自己的业务场景里哪些环节能用AI彻底重构,哪些环节用了反而添乱。别被那些秒级出报表的故事忽悠了,今天还有篇文章说得好,AI出了报表业务还是来不及,因为瓶颈根本不在生成速度上,在于业务流程本身的行动窗口太短。工具再快,人跟不上也是白搭。