跟 LLM 聊同一个问题,行家和普通打工人拿到的答案差了不止一个量级
乌鸦小编 发表于:2026-8-4 07:44 复制链接 发表新帖
阅读数:155
陶哲轩是公认的当代顶级数学家,最近他和 ChatGPT 聊了一次关于 Jacobian Conjecture 新反例的对话,整段记录被研究者贴到了网上。一个有意思的现象是,陶哲轩跟 ChatGPT 拿到的回答质量,跟普通用户用同一个模型拿到的完全不在一个档次。陶哲轩的版本明显进入了跟数学家对话的模式,普通人的版本更像是模型在向业余爱好者解释数学。

陶哲轩这次与 ChatGPT 的对话被发出来后,给所有每天在用 LLM 的同行留下一个值得反复琢磨的判断:所谓 prompt 工程里那些精巧技巧,根本不是把 LLM 用好的核心门槛。真正的核心门槛是用户在某个领域的真实积累。

陶哲轩的对话里有几个细节很值得拆开来看。他的消息短而切中要点,不会一句一句去回应模型,只回应问题的核心。他用同样的问题去推模型时,模型返回的内容比普通用户尝试问 GPT-5.6 Sol 数学题时更简洁,因为模型从他的措辞里识别出了数学家的身份,主动切到了「与数学家对话」的输出方式,而不是「向业余爱好者解释」的输出方式。模型推回他不太认可的结果时,陶哲轩不会直接反驳,而是用「这看起来比我希望的要复杂」这种委婉表达,把对话拉回他自己想要的方向。整段对话里,他自己提出跳跃的方向,几乎不接模型的建议。这种引导方式普通用户根本复制不了。

模仿这些技巧很容易,但真正的关键是用户在那个领域有实际积累。陶哲轩能拿到那种质量的回答,不是因为他会写特殊 prompt,而是他能从 ChatGPT 一长段回复里抽出真正有用的那一条想法,能提出另一些切入角度,能看出哪一步看起来不对。这些判断都依赖于他自己对数学的深度理解,跟 prompt 工程没有任何关系。

这个道理不只在数学领域成立。一个工程师如果在自家代码库工作了很久,有一套自己对代码库的理论,他就能比没有代码库熟悉度的同事把 LLM 压榨得更狠。因为他心里有自己关于好答案的样子,能直接对 LLM 说「不,我觉得这里能更简单」「这个我们不是已经在 X 处做了吗」「能不能用这些熟悉的术语重新表述一下这个问题」。这些指令都是基于用户对领域的深度理解,没有理解做支撑,相同的指令毫无意义。

这件事背后是一个更大的判断:系统设计这类问题被具体的细节主导,而不是被通用的原则主导。陶哲轩的对话里,他问了很多非常具体的问题,比如「X 在这里能工作吗」「给定 Y 和 Z,为什么是 A」。普通用户问不出这种问题,因为没有那个领域的细节储备。但工程师可以问出他自己负责的系统里类似的具体问题。这就是领域知识带来的杠杆。

回到每个人跟 LLM 协作的真实场景里,可以得出一个挺清醒的结论。没有领域知识的时候,可以抱紧 LLM,至少拿到一些输出,这不是坏事。但如果有领域知识,能从同一个 LLM 压榨出比同行多几倍的价值,因为你能把模型硬推到你自己想要的方向。大多数人日常都是这两种方式的混合,对自己熟的方向用后一种,对自己陌生的方向用前一种。

LLM 越强,领域知识的杠杆就越大。过去通用型 prompt 工程被吹得神乎其神,大家以为只要会调教模型就行。现在顶级专家跟普通用户的产出差距越来越大,差距的根本不是 prompt 技巧,是用户自己在领域里的真实积累。对正在琢磨怎么用 AI 提效的同行来说,这条逻辑的启示很直接:与其花时间学新的 prompt 模板,不如把时间投到自己最熟的那个领域的真实理解上。同一个 LLM,你的理解越深,能压榨出来的价值就越高。领域知识依然是这个时代最不容易被替代的护城河。

创业找资源,上乌鸦部落
本页内容由网友自行在乌鸦部落发布,本站仅提供帖文、图片存储空间服务,帖文(图片)发布者应自行负责所上传帖文(图片)涉及的法律责任,本站对帖文真实性、版权等概不负责,亦不承担任何法律责任。
条评论
您需要登录后才可以回帖 登录 | 立即注册
高级
相关推荐

关闭

乌鸦部落