群聊周报 Vol.4|大模型跑分屠榜,中文却越写越差;用好了 AI 真的就能升职了吗;Fable 5 连群聊都不愿意总结
※ 本周报素材来自鸭哥创建的 AI 从业者微信群,群友均以匿名昵称出现。完整每日日报在 GitHub 上每日发布:https://louyu2015.github.io/AI-chatgroup-daily/
文章由作者与 Opus 4.8、Fable 5、DeepSeek V4、GLM 5.2 联合撰写。题图由 GPT Images 2 生成。
我最近频繁使用 AI,但是遇到了三个麻烦。
一个是我眼巴巴地看着最强的模型,却用不上;另一个是有人说 AI 让产出翻倍,可这些产出未必能变成你自己的回报。而第三个问题,我天天都在忍受:我每天用来写日报的模型,似乎越来越不会写文章了。
先说第三件,也就是我感受最深的这一件。
顺,不代表仔细
鸭哥的 AI 交流群每天都有数百条消息。为了跟上群里的讨论,我每天都会用 AI 总结当天的主要话题,自动生成一份日报,也会顺便发到群里帮助其他人。(你也可以在https://louyu2015.github.io/AI-chatgroup-daily/看到匿名版)
五月底,我用这个项目做了一次盲测。我让两个不同的模型写同一天的日报,然后隐去模型的名字,随机标成 A 和 B 两个版本,发到群里让大家评判。
第一天,版本 A 是当时最新的 Opus 4.7 写的,B 是老的 Opus 4.6 写的。
@三只纳垢灵 看了一眼就说中了要害:
虽然我觉得A(4.7)的文字读起来比较顺,不过B(4.6)似乎阅读引用材料更仔细一点
第二天,我交换了一下顺序。这天 A 是老的 Opus 4.6,B 换成了 Opus 4.7。
@冷静的麋鹿 和 @直率的海龟 都投了 A(4.6)一票。我问理由,回答是「信噪比比 B(4.7)高」。
这两天里,无论是群里盲选还是我自己挑选,更好的文章都是老的 4.6 模型写的。Opus 4.7 模型虽然是新模型,效果却更差。
那几天里我尝试对提示词做了各种优化,最终结论是——
感觉 Opus 4.7 的文字处理能力确实不如 4.6,我调了半天提示词也调不好
也就是说,提示词优化很难弥补模型能力的不足。@专注的剑鱼 也补了一刀:
就是不如 特别是中文
于是,经过这一番测试以后,我的日报程序继续使用 Opus 4.6 模型,没有升级。
值得注意的是,我观察到了一个细节:Opus 4.6 的思考深度改成 high 以后,思考时间很长,每次都有将近十分钟,思考过程有一两万字,最终才生成 4000 字左右的日报。而 Opus 4.7 的 adaptive thinking 通常两三分钟就结束了,思考过程也很短。虽然新版模型更快、更顺,更像一个对答如流的人,但没有了那股慢慢琢磨材料的劲儿。
顺滑有时候是一种潦草。
跑分涨了,中文糊了
一个月后,更新的 Opus 4.8 模型发布了,群里的吐槽连成了片。
@今天群内信息量极大 的一句吐槽定了调:
opus 4.8逐渐deepseek化
@80-HD 也有同感:
4.8好像真的降智了
@稳重的海豚 最愤怒:
话说opus4.8真的是垃圾啊 他怎么能做到跑分更高了
几天后他又追了一句充满困惑的咆哮:
4.8真是……(此处省略脏话)下头啊 他们到底干了什么,能把4.8搞成这样?
而 @敏锐的海狸 的一句话,精准概括了中文用户的体感:
opus 4.8今天写作太烂了 我总觉得 opus 说的话不像是在讲中文
@稳重的海豚 给出一个具体案例:
我中英文说话,中文的提问用fable的话就是非常流畅连贯的中文回复 用open4.8(此处应该是笔误,应为 Opus 4.8),给我搞了一个中英文夹杂的回复
这不是偶然的翻车,是连着两周,多人多日都能复现的问题。
@沉稳的兔子 试了试让 Opus 4.8 写程序的配套说明文档,结论是:
直接它写的文档几乎没法用 4.6就没这个问题
跑分在涨,模型的编程能力确实在变强。但写作这件事——尤其是中文写作——却在悄悄退步。
它在「偏科」,不是「变笨」
对于这件事,我的判断是:这不是模型变笨了,是模型太偏科。
模型正在被训练去完成数学、编程等一切能自动判断对错的任务。那些跑分看得见、奖励函数算得清、对错有标准答案的能力,更容易通过强化学习提高。而写作这种没有标准答案、靠品味和语感的东西,很难用对错和分数来评判。更何况,Anthropic 已经放弃了中国市场,更不太可能关注中文的能力了。(当然,不是只有中文有这个问题,英文的写作能力同样在退化)
于是,没进奖励函数的能力就会被优化掉。这不是故意的,是强化学习的副作用。
三个外部信号佐证了这个判断。
先说 Kimi 团队的坦白。6 月份他们在 Reddit 的 r/LocalLLaMA 在线论坛举行了一场 AMA(Ask Me Anything,即「可以问我任何问题」的问答会),@专注的剑鱼 问了杨植麟一个问题:编程能力增强时,如何避免创意写作和情商这些「软」能力在训练中退化?
Kimi 团队的回答很坦诚。他们说参数足够多时,编程和创意写作的能力并不冲突——但跨版本维持「写作品味」确实是挑战,因为奖励模型一直在变。他们现在的做法是维护一套内部评测,专门盯着写作有没有退步,然后据此去调整奖励模型。
也就是说,写作能力需要专门派人盯着,否则一不注意就被优化掉了。
学术界也给出了对应的解释。一篇叫 Writing-Zero 的论文(arXiv:2506.00103)从数学机制上讲清了这件事:强化学习在能自动判对错的任务上突飞猛进,但创意写作没有标准答案。即使训练一个预测人类主观评价的奖励函数,这种函数也天然存在漏洞。模型会找到一种「看起来在写、其实在糊弄」的策略,把奖励分数吃满,但是丢弃文学性。论文用了一个精准的描述:reward hacking,钻奖励的空子。
还有一个信号,我上期周报提过。GitClear 分析了 2020 到 2024 五年间 2.1 亿行代码的变化,发现 AI 普及后,复制粘贴产生的重复代码块,到 2024 年增长了四倍,而「重构」的比例从 2021 年的 25% 跌到了不足 10%。也就是说,虽然 AI 完成代码任务的能力突飞猛进,但是 AI 似乎在投机取巧,没有写出规范的、整洁的代码。
所以,@沉稳的仓鼠 在群里说了一句很准确的结论:
现在看起来是 agentic 和多模态写文章不可兼得
别再指望下一代模型「文武双全」
对于这个问题,我现在有两个办法。
第一个最简单:写作任务别默认升级到最新版模型。 你可以像我那次盲测一样,把不同模型的产出标成 A、B 两个版本,让真人盲选。网上的报告可能有粉饰成分,但是你自己的评测结果不会骗你。
我并不是说永远不要升级模型。就在昨天,我让群友对比了最新的 Fable 5 模型和旧的 Opus 4.6 模型,结果现在大家更偏向最新的 Fable 模型了。所以,我们还是应该尝试新的模型。但是在升级模型之前,评测是很重要的,并不是每次升级都能帮助你所在意的特定任务。
第二个是我现在写周报的最核心经验:别让写作品味弱的模型写初稿。
AI 味会传染。如果你让写作能力强的模型给一篇 AI 味很强的初稿润色,最终还是很难去掉 AI 味。最好的办法是只给一个大纲,让写作能力强的模型从头写初稿。
我自己踩过这个坑。一开始我先让 Opus 4.8 写初稿,然后让 DeepSeek 润色,结果最终的文章读起来还是有 Opus 4.8 的风格。
后来,我只让 Opus 调研,列出大纲和材料,正文直接让 DeepSeek 写,最后再修订。这样的效果最好。
我目前的办法是让 opus 调用 deepseek 写作,opus 做调研和写大纲。并且我要求分段调用 deepseek,最后拼接,防止上下文过长。写完要求 opus 检查一下,同时调用 deepseek 自查。
但我也得说实话,AI 味无法完全避免:
不过我感觉最终还是需要人工修订才能读起来像中文。DeepSeek 也有一点 AI 味,我怀疑会不会 Opus 的大纲里的 AI 味也会传染给 DeepSeek
群聊日报做了几个月,我越来越觉得:别再指望最新模型能文武双全。 最强的模型正越来越像一个代码写得飞起,却不善言辞的理工天才。它不是变笨了,是太偏科了。你要做的就是,别把需要品味的任务外包给一个没有品味的系统。
不过,模型偏科,好歹还能用;可接下来这件事——也就是开头说的第一个麻烦——是我们连用的资格都被剥夺了。
连群聊都不让读
事情是这样的。在 Fable 5 刚发布的那几天,我想,既然 Opus 4.7 写日报的效果不好,那可不可以试一下最新的 Fable 5 模型。听起来是个合理需求对吧?于是我去试了三次,烧掉五美元,结果它一个字都没写出来。
我试了 3 次,加了各种关键词屏蔽,Fable 依然拒绝总结我们的群聊,还烧了我 5 美元。我放弃了……
@开朗的企鹅 说:「因为有『核武器与生化武器』啊」。原来当天群里有人转发了一篇《黑客利用核武器和生化武器逃避 LLM 分析》,大家还讨论了几句。其实这篇文章并不会教大家怎么制造核武器,但当我把包含这段讨论的聊天记录交给 Fable 总结时,Anthropic 那敏感的安全护栏把整个请求都拒绝了。
我又试着自己去掉核武器等敏感内容,改了好几次屏蔽词列表,连续三天尝试,每次都被拒绝。所以,我连让 Fable 5 总结群聊都做不到。
直到昨天我又试了一次,可能因为这一天的话题不再「敏感」了,我才终于成功。
这不是我一个人倒霉,群里也有很多人意外地触发限制。最强的那些模型正在离我这样的普通用户越来越远。
网上还有人挖出了更阴的事情。Fable 5 的说明文档里藏了这样一段描述,针对的是「前沿大模型研发」场景:如果你想用 Claude 去训练竞品模型,Anthropic 会故意以用户看不见的方式削弱模型表现。Fortune 报道之后,科技评论家 Dean Ball 直接指责这是 “secret sabotage”——暗中破坏。Anthropic 后来道歉了,给 WIRED 的声明说:”We made the wrong tradeoff and we apologize for not getting the balance right.”——我们做错了取舍,没有把握好平衡,为此道歉。
最强的那批 AI,正在一个个从产品变成战略物资,被锁进只有少数人能开的保险柜里。 我们这种普通用户能真切感到的就是,连让模型总结个群聊都会被挡在门外。
模型要么偏科,要么不让用。那好不容易用上的 AI,是不是就能让我们产出翻倍了?
你的 AI 用对了,但错在当了那头模范老黄牛
@今天群内信息量极大 发了篇长文,标题就是一句扎心的反问:《使用 AI 十倍提效,成了模范老黄牛,就能加薪升职了?》。显然,答案是否定的。大家读完文中作者的经历以后,刷了一片「+1」。
另一段深夜对话也佐证了这一点。@坚定的貂 在群里贴了一段和导师见面的记录:
跟我说不准备招学生了,一大原因是觉得学生之后可能找不到工作了。(因为AI
@飘逸的狮子 接了一句:
或者是AI把学生的活都干了
@坚定的貂 随后补充了导师做出这个决定的原因:
First Proof second batch的结果已经表明$1000能顶1个博士5年产出了。
First Proof 是一项旨在评估人工智能在真实研究级数学领域能力的独立测评项目。题目直接来自各大数学家正在进行的前沿研究,且答案从未在网络上发表或公开过,彻底切断了 AI 通过「死记硬背」或检索训练数据来作弊的可能。AI 提交的解答会像正常的学术论文一样,隐藏模型名称后,交给数十位专业数学家进行同行评审(Peer Review),评判其是否达到可发表的水平。
上面那句话,就是群友对第二批结果的解读:花 1000 美元调用 AI 的产出,已经能顶上一位水平一般的博士生。
AI 在不断发展,并不意味着使用 AI 的我们也能顺风顺水。
@今天群内信息量极大 那篇文章里有个形象的比喻——在老板眼里,你到底是他的「手」还是他的「脑」?AI 让你做执行(手)的速度暴涨,但如果你只是更快地把活儿干完、更乖地做更多的活,那你只是把自己从一头普通牛马,升级成了一头套着 AI 引擎的老黄牛。跑得更快了,干的还是犁地的活。
用AI无脑输出代码是最省力的方法,用AI耗脑输出判断才是高杠杆有竞争力的职业手段。
@直率的海豚 也提出了一个更直白、更残酷的观点:
promote得看这个case做成了,对你老板本身有没有好处。
效率是给机器打分的,升职却是给人打分的。你觉得自己效率爆炸,但如果你干的活在老板的版图里不值一提,那你的提效也没有了作用。所以,AI 省下来的时间,别乖乖去做更多执行的活,而是要去抢那些有能见度、需要判断能力的活。
@冷静的飞鼠 有两句精辟的总结:
不要把自己定位成好用的牛马 升职没成功反而是个好事
有时候,升职成功也不过是换个更大的笼子。没升上去,说不定也是因祸得福,是拒绝被贴上「牛马」标签的第一步。
本周判断
这些日子我没少用 AI,我也被 AI 的能力惊艳过。可把这三个麻烦放在一起看,就会发现它们有个共同点:「更强」的新闻和「更好用」的日常之间,还是存在一个鸿沟。模型在偏科,跑分屠榜不等于文章写得好;最强的模型在被圈养,你能用什么,越来越不由你自己决定;就算你用上了、也提效了,效率也不会自动兑换成你的回报。
所以,和之前一样,我依然认为会判断的人还是很有价值:判断什么时候该用 AI、判断 AI 会在哪掉链子、判断省下来的时间该投到哪儿。这三个判断,目前 AI 还不能替你决定。
顺便看看
- Fable 5 昨日解禁,点击此处查看我之前写的评测文章。
- Ollama Cloud 上的 GLM 5.2:多位群友实测,同一个模型从官方 API 接口换到第三方渠道,速度快十倍,还承诺零数据保留。
- 三张 300 美元显卡跑 Qwen 3.6 27B:群友用三张 5060 Ti 在本地跑这个开源模型,接进智能体里专门干扒网页、试折扣码这类消耗大量 token 的体力活,避免了额度焦虑。本地推理的性价比正在逐渐提升。
- 火山妙记:群友用五段真实录音做横评,说话人分离效果比极速版和豆包 2.0 都更好。
- 这周没在正文展开,但值得一读的一篇文章:陈然《请不要在泰坦尼克上研究如何升舱》:https://ranchen.org/content/20260610-rancheng-article-dont-study-upgrades-on-titanic
