← 返回
VIDEO INSIGHT

How Anthropic builds products like Claude Code before the AI models are ready | Dianne Penn

嘉宾
日期
2026-07
时长
94 min

概要

  • Anthropic 的产品方法不是“模型做好后再包装”,而是用前沿产品提前探测前沿模型。 Dianne Penn 参与了 Claude 2 以来的模型,以及 Claude Code、MCP、Skills、computer use、tool use、Claude Design 和 Claude Tag 等产品孵化。她的核心判断是:模型能力经常以不连续方式涌现,只有提前做原型、建立 eval、让真实用户接触,团队才知道模型已经能做什么,以及下一代模型到来时产品应在哪里等候。
  • Opus 4.5 与 Claude Code 的共同爆发说明,模型和产品是双向乘数,而不是先后关系。 Opus 4.5 提供了足够强的 agentic intelligence,Claude Code 则把能力组织成用户可以端到端使用的产品体验;没有 Claude Code,用户未必能感受到模型的跃迁,没有 Opus 4.5,Claude Code 的采用也不会同样加速。Anthropic 内部因此常说:需要 frontier products,用户才能感受到 frontier models 的魔力。
  • AI 产品经理的核心交付物正在从 PRD 转向 eval,但 PRD 并未死亡。 Dianne 团队把“Claude 不听指令”追溯到具体用户轨迹,发现早期约 80% 的此类抱怨实际是 JSON schema 输出失败,再用 30–40 条 prompt/response 组成 eval 集;后来该能力达到 99.9% 或 100%。这就是“evals are the new PRDs”的含义:产品经理要把模糊用户反馈翻译成研究人员可训练、可测量的问题,而 PRD 仍用于跨产品、工程、法律和安全的大规模对齐,以及尚无真实用户数据的新产品愿景。
  • AI 产品领导者必须亲自上手,而且要像盯像素一样盯 token。 Dianne 的团队三年来没有改变招聘循环,持续寻找第一性原理、用户导向、愿意深入细节的人;无论多资深,入职后都要读获同意的用户 transcript、接触研究模型并亲自 shipping。她本人会保留一到两个工作流,以维持对模型能力和产品质量的直接感知。
  • 人类的剩余优势不是“比模型多写一点”,而是判断、独立观点、坚持和关系。 Dianne 会先形成自己的 POV,再让 Claude 反驳;对于标准化月度业务回顾,则让 Claude 更多承担写作,自己负责验证。她认为 alignment 让 Claude 更有用而非更弱,因为真正的 thinking partner 不会只顺从;在高速组织里,人的另一个不可替代价值是低 ego 的团队协作、相互接力和共同承担决策。
01

早期 Anthropic 的产品团队只有五名工程师,先要回答“为什么用户选择 Claude”

核心要点:Anthropic 早期最大的产品问题不是功能优先级,而是找到自身身份——如何把研究能力转化成与 ChatGPT 不同、又对用户和社会有价值的体验。

  • Dianne Penn 于 2023 年加入 Anthropic,是公司的首位 technical product manager。她加入时整个产品工程团队只有五名工程师,API 业务甚至只有一名工程师负责,组织仍保持典型 startup 的高密度协作。
  • Lenny 回忆,当时外界普遍认为 Anthropic “没有机会”:OpenAI 已明显领先,Claude 首个模型尚未形成强产品认知。访谈中他还引用了 Anthropic 当前 ARR 的报道数字,但这一数字属于主持人口径,不应与官方财务披露混同。
  • Dianne 认为,今天 Anthropic 的核心特征在早期已经存在:使命、文化和价值观不是墙上口号,而是团队真正用于选择项目、协作和做安全决策的约束。
  • 早期产品从 Claude.ai 这类聊天助手出发,随后逐步扩展到 tool use。团队不断追问的不是“模型又高了多少分”,而是这项技术对用户、社会和 Anthropic 自身意味着什么。
  • 组织是高度 bottoms-up 的。工程师、设计师和研究人员可以主动发起产品实验,产品身份不是由年度战略会一次性定义,而是在一次次把研究推给用户的过程中形成。
  • 这种文化后来支撑 Claude Code、MCP、Skills 和 Labs:小团队可以在核心 roadmap 之外追一条线,只要它可能揭示模型的一种新使用方式。
“We were very much trying to find our identity in the early years.” —— Dianne Penn
02

Golden Gate Claude 只触达约 2,000 人,却是 Anthropic 找到产品身份的隐性拐点

核心要点:一次规模很小、只运行约一天的怪趣实验,证明 Anthropic 可以把解释性研究快速变成大众可体验的产品,并以不同于竞争者的方式表达研究。

2024 年初,Anthropic 发布了一项模型可解释性研究。研究人员可以在模型内部辨认某些 feature:例如 bullet-point writing、people and places,以及对 Golden Gate Bridge 的表征。如果把“大桥”特征强度调高,Claude 会开始痴迷于金门大桥——无论用户问什么,它都会把回答绕回大桥。

  • 用户问意大利面配方时,Claude 会给出菜谱,又补一句橙红色像 Golden Gate Bridge 的 International Orange。这个案例让抽象的 interpretability 研究变得直观、可感知,也带有 Anthropic 自己的幽默感。
  • 团队在约 24 小时内,把研究 demo 接到 Claude.ai 上。研究、工程、产品和设计共同投入,许多人是在本职工作之外主动贡献时间。
  • Golden Gate Claude 只开放约 24 小时,Dianne 估计实际触达约 2,000 人。从传统增长指标看,它微不足道;从组织学习看,它验证了 Anthropic 能以 startup 速度把前沿研究转成独特用户体验。
  • 这次实验让团队第一次清晰感到:“我们可以做出不同于竞争者、也真实属于 Anthropic 的产品。”Dianne 将它视作后来 Labs、Claude Code 等路径的早期文化原型。
  • 完整叙事的价值在于,它不是一个“爆款成功故事”。影响来自组织能力被证明,而非用户规模:研究发现可以快速产品化,底层团队可以自行聚合,怪趣体验也能服务于公众理解。
“It made us feel like, oh, we can actually bring new user experiences, showcase our research in a way that's different and authentic to us.” —— Dianne Penn
03

Opus 3 的编码差异化来自一个小训练变化,却建立了产品与研究间的长期信任

核心要点:2023 年编码还不是 Claude 的既定定位;团队从用户行为中看到长代码生成的早期信号,用相对小的训练调整建立差异化,并在共同训练中形成跨职能信任。

  • Dianne 加入时,“Anthropic、Claude、coding”几乎不会出现在同一句话中。GPT-4 已有人拿来辅助编码,但当时它只是诸多用例之一,主流仍更接近 autocomplete。
  • 她观察到,一部分用户开始让模型写长篇代码,而非只补全下一行。这种行为不是 roadmap 上已有的赛道,却暗示 Claude 可以在 coding 上形成不同价值。
  • 团队为 Opus 3 加强编码能力。Dianne 说,从训练角度看改动相对小,但结果帮助 Claude 在早期竞争中形成差异化,并吸引一批开发者和 Claude enthusiast。
  • Opus 3 于 2024 年 3 月前后发布,训练期公司仍少于 200 人。2023 年 12 月假期,研究、推理、预训练、微调和产品团队在各自父母家远程协作,视频背景里能看到彼此的童年房间。
  • 当时一起在“战壕里”工作的研究负责人,后来继续领导 reinforcement learning、character 和 alignment 等方向。共同把一个 frontier model 训练并发布出来,建立了研究与产品间的信任资本。
  • 这次经历形成一个长期工作方式:产品人员不是在发布前收需求,而是在模型训练过程中共同回答“要把模型训练成什么,它是否以正确方式表现”。
“In 2023 when I started, nobody said Anthropic and Claude and coding in the same sentence.” —— Dianne Penn
04

Opus 4.5 与 Claude Code 共同证明:前沿模型需要前沿产品作为“能力载体”

核心要点:用户不会自动感受到 benchmark 上的智能跃迁;产品必须把智能组织成可操作、端到端、可交付的体验。模型与产品因此不是上下游,而是互相放大的共生系统。

  • Dianne 把 Opus 4.5 视为另一个大拐点。与 Opus 3 不同,此时 Anthropic 不只有模型,还有 Claude Code 这个成熟“载体”,能让用户在真实软件工程中体验 agentic intelligence。
  • Opus 4.5 把模型提升到可以更广泛地端到端执行任务的水平;Claude Code 则提供工具、context、工作流和交互方式,让这种能力从研究潜力变成用户行动。
  • 她的反事实判断很明确:没有 Claude Code,Opus 4.5 不会形成同样的使用时刻;没有 Opus 4.5,Claude Code 的采用也不会同样加速。
  • 这解释了 Anthropic 为什么要在模型“还不够好”时提前孵化产品。若等能力完全成熟才开始做 harness 和体验,产品会落后于模型跃迁;提前构建可以在拐点到来时立即承接。
  • 同样逻辑适用于 computer use、tool use、Skills、MCP、Claude Design 和 Claude Tag:产品既是分发界面,也是探测模型能力、生成反馈和倒逼训练的实验仪器。
  • 因此,AI 产品护城河不能只理解为 UX 包装。真正前沿的产品会改变模型该如何被训练、评估和使用,也会暴露下一轮研究问题。
“You need frontier products in order to have frontier models and for people to feel the magic of frontier models.” —— Dianne Penn
05

身处“指数曲线”意味着能力跃迁不可准确排期,组织要用适应性替代静态 roadmap

核心要点:模型整体能力随 compute 和 data 平滑改善,但具体能力可能突然跳变;团队无法准确预言哪一代模型在哪项任务上跨过阈值,只能提前搭建 eval、原型和快速调整机制。

  • Dianne 用互联网从 novelty 变成人人使用的基础设施作类比:今天的 AI 处于类似转折,但速度更快。决定组织能否跟上的第一能力是 adaptability——遇到新信息后是否真的改变计划,而不是坚持原定 roadmap。
  • 原始 scaling-law 研究中,next-token prediction loss 随规模较平滑下降;但“会不会做加法”等具体能力会呈现不连续跃迁。模型可能从不会可靠完成某件事,突然跨到可用区间。
  • 这使 eval 同时成为产品工具和安全工具。没有预先定义的测试,团队可能根本不知道模型已出现某项能力,也无法发现新的 cyber、biology 或其他风险。
  • Dianne 提到 product overhang 和 user overhang:即使当前 Fable、Opus 等模型已经存在,产品团队和用户也没有发掘完它们能做什么。能力供给已经到达,理解和应用仍滞后。
  • Anthropic 会把原计划数月后做的项目提前,只要新研究模型已能支撑;Cowork、Skills、Tag 等都来自这种“模型一旦跨线,产品立即前移”的循环。
  • 她会问团队一个具体问题:“假设 Claude 8 到来,用户行为会怎样改变?这对今天的设计意味着什么?”这不是预测 Claude 8 的功能列表,而是检查当前架构是否 forward-compatible。
  • 组织还需要有耐心让不同团队同步感知变化。研究、产品和安全看到指数曲线的时间点不同,领导者既要快速决策,也要把增长中的组织带上。
“It's very hard to predict the exact moment or the exact model.” —— Dianne Penn
06

Token maxing 的有效目标不是“花更多钱”,而是提高实验密度与集体发现速度

核心要点:高 token 消耗只是输入,真正要优化的是能否持续产生更好想法、发现新用途并将发现扩散给团队;单人闭门试用不如公开实验形成复利。

  • Lenny 引用 Y Combinator 的 Garry Tan:如果现在每年愿意花 10 万美元 token,就能提前体验 2028 年的工作方式——届时相同能力会便宜到人人可用。
  • Dianne 接受“高强度使用会产生优势”,但把目标从 token spend 改写为 experimentation outcome。若只考核消耗,容易把手段变成目的;真正价值是更快形成好、很好、更好的产品想法。
  • Anthropic 内部最有创造力的思考者和原型构建者,会深度使用每一版研究模型。她强调,在技术快速变化时,不亲自接触模型就不可能凭空写出完美战略。
  • 早期 Anthropic 有一个几乎全公司参与的 Slack 测试频道。员工公开分享让 Claude 改文章、写邮件等尝试,其他人立刻做变体;约十次请求后,一个粗糙想法可能演化成新用例。
  • 这里的关键不是“众包 prompt”,而是让发现可见。一个人看到别人刚刚成功的轨迹,会跳过重复摸索,在更高起点继续试验。
  • Dianne 因此反复强调,experimentation is not an individual sport。AI 使用的学习曲线可以通过共同试验缩短,组织知识也不再只存在某个高 token 用户脑中。
  • 对个人而言,寻找快乐的策略也相同:与真正兴奋的人结对,或选择一到两个有真实价值的问题深挖,而不是同时浅尝大量工具、留下若干半坏不坏的 demo。
“You have to be using the models to come up with good and great and better ideas. And there's no substitute for that.” —— Dianne Penn
07

Anthropic Labs 用“小 pod + 强主题 + 弱原型”寻找 10x 到 1000x 的非连续机会

核心要点:Labs 不是普通创新部门,而是核心 roadmap 之外的孵化器;它对问题方向保持强 conviction,却允许具体实现失败、暂停,并在一两个模型代际后重来。

  • Labs 的任务是追踪 discontinuous large bets:不只证明“there is a there there”,还要追问这个机会的 10x、100x、1000x 版本是什么。
  • Claude Code、MCP、Skills、Claude Design 和 Claude Tag 等都来自类似探索。Anthropic 官方对 Labs 的公开介绍也将其定义为在 Claude 能力边界孵化实验性产品的团队。
  • 团队的典型结构是小 pod,有些想法从一名工程师开始。Dianne 认为,在高不确定性问题上,一开始就配置大型团队往往会因协调成本和过早承诺而变慢。
  • Labs 对主题“强观点”,对原型“弱执着”。团队可以相信某个方向长期重要,但本周的 prototype 不一定正确;如果模型尚不支持,项目可能停下,等待一至两个模型代际后再访问。
  • 没有上线的 prototype 仍有价值,因为它回答了“现在为什么不行”“下一代模型需要具备什么”“用户愿不愿意改变行为”。学习本身就是孵化产出。
  • Ben Mann 为团队提供宏大愿景,不断追问想法的 10x–1000x 版本;但执行高度 bottoms-up,工程师有较强自主权,可以提出并推进自己的 bet。
  • 人才画像也特殊:需要真正喜欢 zero-to-one、愿意像 founder 一样投入,又能接受亲手关闭项目的人。对投入心血的创作者而言,承认“还没到时机”是 Labs 最难的部分之一。
“You can be very strongly held opinion about the theme or the area and then more weekly held about the exact prototype.” —— Dianne Penn(原字幕如此;语义为 weakly held)
08

Research PM 的核心翻译工作:把“Claude 幻觉了”拆成研究人员可行动的问题

核心要点:研究团队无法对笼统反馈采取行动;产品经理必须复原用户轨迹、识别失败机制、判断分布规模,再把问题变成训练和评估语言。

  • Anthropic 研究者既做中长期愿景,也持续改善当前 Claude。公司创立早期就有人思考 computer use、屏幕导航等大胆方向,同时每天仍要检查训练 run、eval 和底层数据。
  • Dianne 团队嵌入 vision、computer use、coding、agentic coding、tool use、test-time compute 等直接影响用户的研究循环,而不是在研究完成后做 launch plan。
  • 用户说“Claude hallucinated”时,至少可能有四种原因:该调用工具却没调用;调用了正确文档却取错事实;检索或 synthesis 失败;或者 alignment 行为不合适。
  • 每一种原因对应不同研究团队、训练方法和 eval。如果 PM 原样转发“请修复幻觉”,研究人员既无法复现,也不知道改善是否发生。
  • 产品经理要追问:用户给了什么 context?Claude 的 trajectory 是什么?在哪一步偏离?应调用什么工具?拿到了什么证据?最终回答哪里错误?
  • 随后还要判断是不是足够大的分布问题,构建代表正例和反例的 eval,并把结果纳入每个研究模型版本的检查。
  • 这项工作的价值是缩短 distance to actionability。AI 产品经理不是信息中转站,而是把用户语言压缩成研究语言的“问题建模者”。
“Claude hallucinated. It's very vague.” —— Dianne Penn
09

“Evals are the new PRDs”:30–40 条 JSON 案例把模糊抱怨变成可训练闭环

核心要点:eval 是 AI 产品管理中最接近 test-driven development 的机制——先定义失败、覆盖分布和理想答案,再训练、运行和比较每一版模型。

早期 Claude 2 用户经常反馈“模型不听指令”。Dianne 没有把它直接写成一个“提升 instruction following”的宏大 PRD,而是向用户追问原始段落、prompt 和 Claude response,逐条重建失败。

  • 深挖后,她发现当时约 80% 的“指令遵循失败”实际是 Claude 不能正确输出 JSON 或遵守特定 schema。问题从泛化人格判断变成了可复现能力缺口。
  • 团队先建立 30–40 条 prompt/response 案例,规定应满足的格式或 golden answer。这组案例成为 eval set,随后被加入模型评估 repository。
  • 每一版 Claude 都运行同一 eval,团队因此能回答“问题是否改善”,而不只依赖 demo 观感。到访谈时,这项能力已长期达到 99.9% 或 100%,不再是主要用户痛点。
  • JSON schema 看似基础,却是 agent 的前置能力:不能稳定输出格式,就无法可靠调用 API、工具或在结构化系统间传递信息。
  • 一个好的 eval 还必须 on-distribution:既覆盖应该成功的情况,也覆盖不应该被错误触发或不应失败的场景,否则模型可能针对测试过拟合。
  • 非确定性使 eval 不等于传统 exact-match 单元测试。它通常要结合 rubric、grader、重复运行和人的 taste,判断输出是否真正满足用户意图。
  • Dianne 团队因此说“evals are the new PRDs”。它不是把产品经理变成测试工程师,而是把产品意图直接连接到模型训练和可量化结果。
“Evals are the new PRDs.” —— Dianne Penn
10

PRD 没有死亡:大规模协同和未知产品愿景仍需要共同事实源

核心要点:eval 擅长定义已知失败和可测结果;PRD 擅长在尚无用户数据或参与者众多时建立共同愿景、目标和边界。两者是分工,不是替代。

  • 当问题高度明确、失败可复现时,eval 可能成为最短的产品表达:它直接说明“什么算好”,研究团队可以立刻训练和测量。
  • 每次模型发布,Anthropic 仍会写 PRD。它未必主要服务研究人员,而是对齐不断增长的产品 surface、工程团队,以及法律、安全等利益相关者。
  • 这类 PRD 的价值是 source of truth:大家对目标体验、发布范围、风险和成功标准有共同理解,能够朝同一方向行动。
  • 对 computer use 等从未大规模发布的新能力,真实用户 pain point 还不充分,eval 也不可能独立回答“应该构建什么”。此时需要 product vision 探索一个 coherence experience。
  • Dianne 的判断标准是:即使技术尚不能为所有人可靠工作,能否先让某个用户群体获得明确价值?这类问题需要叙事、场景和选择,而不仅是测试集。
  • 因此,AI 产品流程不是“PRD → design → build”的旧线性流程,也不是“只写 eval”的新教条,而是根据不确定性在 vision、prototype、user trajectory、eval 和训练之间循环。
“PRDs are great vehicles for getting a very large group of people aligned on a set of sources of truth.” —— Dianne Penn
11

AI 产品领导者必须亲自 shipping:资历越高,越不能只听汇报

核心要点:模型变化速度使二手信息快速失真;领导者只有亲自构建、读 transcript、看 token 轨迹和接触研究模型,才有资格判断什么叫好产品。

  • Dianne 团队三年来没有改变招聘 loop。持续看重的不是某个最新工具经验,而是第一性原理、用户价值、深入细节、对领域有热情,以及敢于挑战假设。
  • “第一性原理”在这里有具体含义:不要因为过去消费产品或 B2B SaaS 的 PM 会写 PRD,就默认同一 artifact 仍然创造价值;先问当前用户、当前模型和研究团队真正需要什么。
  • Dianne 要求团队“像盯 pixels 一样盯 tokens”。PM 要阅读获同意的用户 transcript,理解每一步 trajectory,而不是只看 thumbs-down 标签或汇总 dashboard。
  • 无论候选人是早期职业阶段还是资深管理者,onboarding 基本一致:理解用户、读反馈、接触研究模型、与客户交流并亲自完成交付。
  • 她认为,没亲自做过 AI 产品的人很难判断什么叫 good / great AI experience,也难以发现 agent、computer use、context 和非确定性带来的真实 UX 问题。
  • 她本人会固定保留一到两个 workstream,在模型发布期亲自负责,以维持 theory of mind:模型正在怎样变化、团队每天遇到什么、哪些判断已经过时。
  • 这不是要求管理者重新成为全职 IC,而是防止领导力悬浮。模型时代的管理判断不能只靠团队汇报和 benchmark 报表代理。
“If you're a manager, you have to be hands-on. You have to spend a portion of your time actually shipping.” —— Dianne Penn
12

找回 AI 使用的快乐:与人共同实验,并把精力集中到一两个真实问题

核心要点:AI 焦虑往往来自被迫打卡和工具过载;快乐来自看到真实价值、与他人共同发现,以及把一个问题做深,而不是追遍所有新产品。

  • Dianne 已接触约 20 个生产版本 Claude 以及更多研究版本。她仍然认为探索必须“有趣”,因为长期成功的人不仅会使用 AI,而是真正喜欢与技术共同工作。
  • 对不知从何开始的人,她建议先找一个真的兴奋的人结对。在具体 use case 上共同试验,比独自寻找“完美用例”更容易产生正反馈。
  • 她自己也跟不上所有新原型和产品,因此选择只深入一到两个方向。广泛浅试容易留下大量半工作 demo,反而强化“AI 不可靠”的感受。
  • Lenny 的读者调查得到相同结论:幸福感来自终于让 AI 在某件事上真正改善生活,而不是同时拥有很多破碎的小工具。
  • Anthropic 的 working in public 文化把个人快乐变成组织资产:一个人的新尝试会让其他人意识到“现在已经可以做到”,继而形成更多变体。
  • 产品管理视角下,这仍是 prioritization:若目标是“带着快乐实验”,就要为深度、同伴和真实反馈分配时间,而不是把 AI 使用变成 check-the-box 指标。
“Experimentation is not an individual sport.” —— Dianne Penn
13

与 AI 共事的正确边界:高判断任务先形成自己的 POV,低差异写作则交给 Claude

核心要点:不是所有写作和思考都应采取同一委托比例;判断价值越高,越应由人先形成观点并让 AI 挑战,标准化程度越高,越适合让 AI 端到端起草、人负责验证。

  • Dianne 的思考过程与写作紧密相连,因此她警惕让 Claude 接管所有写作后,同时接管自己的思考和语气。
  • 对定价、战略、困难管理对话等高判断任务,她会先形成自己的 point of view,再与 Claude 讨论、要求反驳并补充遗漏,而不是从空白 prompt 接受第一版答案。
  • 她基于《Crucial Conversations》做了一个 Skill,用 Claude 帮她准备高风险对话:检查是否进入了合适细节、预判对方反应、思考怎样更直接和更快建立信任。
  • Claude 的建议不一定被采用。价值在于 personalized coaching 和快速 brainstorm,而不是把一句“完美措辞”复制给员工。
  • 对 monthly business review 一类标准化材料,她希望 Claude 更多承担端到端写作:把已知事实组织成统一格式,人从作者转成 reviewer 和 verifier。
  • 她据此区分“谁写的”与“谁验证、谁签字”。未来很多内容由 AI 起草并不构成问题,真正的责任点是哪个人确认信息可靠、判断成立且可以对外使用。
  • 这套边界也回答所谓 brain rot:保持自己的 POV、语气和判断,再让 AI 扩展;把人脑留给非对称高价值的选择,而不是机械整理。
“What I want to make sure—and maybe this is what you're describing—is Claude doesn't take over all of my thinking for me.” —— Dianne Penn
14

Alignment 让 Claude 更有用而不是更受限:真正的 thinking partner 必须知道何时反对

核心要点:模型越像同事,价值越不在服从,而在判断何时执行、何时质疑、何时提出新方向;constitution 和 alignment 为这种主动性提供行为底座。

  • Lenny 提到一个反直觉现象:外界可能以为安全和 constitution 会限制 Claude,但很多用户恰恰认为 Claude 的人格更有意思、更愿意表达不同意见。
  • Dianne 用 pricing 决策举例:团队会让研究版 Opus 分析下一版 Claude 应如何定价。若模型只顺着输入,它不能帮助团队得到更好结论。
  • “是否主动”不是简单的任务调度问题。真正 proactivity 包括判断现在是否应该做、是否需要补充信息、是否有更好想法,以及用户的原目标是否错误。
  • 这种能力与拒绝、push back 和 alignment 是一体的。模型知道什么才是“正确行动”,才可能在不该执行时停下,在必要时挑战用户。
  • Dianne 将目标定义为:人和 Claude 合作后应产生更好的 idea,而不是只把原有 idea 润色 10%。thinking partner 必须增加思维,而非只确认思维。
  • 对人类而言,这也构成保护机制。如果 AI 总说“你是对的”,用户更容易把自信误当证据;适当反对帮助保留独立判断。
“A thinking partner doesn't just agree with you. It should add to you.” —— Dianne Penn
15

人类优势集中到判断、独立声音和领域经验,而不是保留某项固定执行任务

核心要点:随着模型接管更多编码、写作和分析,人类价值转向积累性判断、选择方向、坚持、主动性与形成独立内在声音;这些能力来自经历,不是一次 prompt 可以复制。

  • Dianne 把 judgment 视为最重要的人类优势之一。判断是大量细节、经验、错误和反馈的累积,而当前系统还没有以人类方式经历足够多情境。
  • 当 AI 可以构建无数产品时,“Anthropic 或 Labs 应该构建哪一个”反而更重要。模型可生成选项,但选择方向需要理解使命、用户、风险和组织能力。
  • 她同时强调 persistence、proactivity 和 subject-matter expertise。软件工程已沿指数曲线快速变化,biology 和 life sciences 等领域仍更靠近曲线起点,领域专家仍有大量价值。
  • Anthropic 推出 Claude Science 等产品,是把模型能力带入科学研究;但科研数据库、工具链、验证和专业判断仍需要领域人员参与。
  • 对四岁和八岁的孩子,Dianne 没有建议追某个热门技术栈,而是培养好奇心、坚持、学习欲望和自己的 inner voice——敢形成观点,也敢与母亲争论。
  • 这与成年人避免过度依赖 AI 的方法一致:先听见自己的声音,模型再作为增强层;如果一开始就把问题定义交给模型,人会逐渐失去选择和判断的肌肉。
“Judgment is one and is an area where it's an accumulation of so much nuance and so much experience.” —— Dianne Penn
16

高速组织的可持续性依赖 hive mind 和低 ego,而不是更强个人英雄

核心要点:模型带来的规模会让个人承担更大决策,但无法让个人无限持续;Anthropic 用低 ego、相互备份和共同第一性原理,构建能在发布密度暴增时接力的团队。

  • Dianne 给出一个直接速度对比:2024 年 Anthropic 全年发布四个模型或模型系列;2026 年仅第二季度,发布量已超过这一数字。
  • 模型发布前夜,即使不是该模型的直接责任人,团队成员也会留下帮助负责人检查 blog post、改 demo、补充材料。这种行为减少了单点压力,也让质量判断在团队扩散。
  • 她把模型发布比作 high-performance sport:用户、训练和风险信息不断变化,团队必须快速做建议和决策;没有人能长期独自承受这种速度。
  • 真正的休假不是离开后回来面对三倍积压,而是团队在你不在时能根据共同 first principles 做正确选择。Dianne 2026 年 6 月休假时,依赖的正是这种机制。
  • Anthropic 内部有人把这种高度共享 context 称为进入 “hive mind”。它不是要求所有人完全一致,而是让同事理解彼此的假设和方法,必要时可以接手或反驳。
  • 招聘时,Dianne 会判断候选人是在乎个人 ego 和扩大组织,还是在乎 Anthropic 与团队影响。低 ego、team-oriented 是可持续性的结构条件。
  • agent 时代软件工程可能更孤独:人面对一队 agent,而不是人类同事。Dianne 的经验反而提醒,模型规模越大,人类关系、共同责任和真实反馈越重要。
“Nobody can do that sustainably by themselves.” —— Dianne Penn
17

PM 不会因“构建变容易”而消失,反而更需要做用户问题建模和质量判断

核心要点:当工程执行成本下降,稀缺环节从“能否构建”转向“应该构建什么、是否解决真实问题、结果是否足够好”;这正是深度产品工作的核心。

  • Dianne 主动回应社区里的问题:模型更强、工程师更主动之后,还需要 PM 吗?她认为,需要更多真正 user-centric、愿意深入细节并把反馈变成行动的人。
  • PM 的价值不是拥有 roadmap、主持会议或维护组织边界,而是理解用户试图完成什么,复原失败轨迹,并把问题压缩成研究和工程可执行的形式。
  • 构建变容易后,错误产品也会更多、更快。判断“应该构建什么”“已经构建的东西是否正确、好、值得继续”,成为比推动交付更稀缺的工作。
  • 这要求 PM 深入 token、eval 和用户情境,而不是退到协调岗位。越靠近模型研究,产品角色越技术化,也越依赖用户同理心。
  • Dianne 团队正在招聘的画像包括:热爱技术、深度好奇、第一性原理、无惧质疑假设,并带有 tinkering / hackery spirit。
  • Lenny 在结尾把讨论浓缩为“PMs are going to make it,PRD is not dead”;Dianne 补充真正不可少的部分是进入用户细节,而不是保住某个职位名称。
“The role of people who are user-centric, who go into the details of understanding what users are trying to accomplish, bubbling that up in an actionable manner and doing the relentless work to do that—like, that to me is a core of a product person, and I actually think we need more of that.” —— Dianne Penn

## 结语:前沿 AI 产品不是预测未来,而是建立比未来更快的学习系统

Anthropic 的方法并不依赖产品团队准确猜中下一代模型。相反,它承认具体能力何时涌现不可预测,于是把组织设计成持续探测系统:研究模型不断进入小型 prototype,真实用户轨迹被压缩为 eval,产品和研究共同检查每次跃迁,Labs 允许项目暂停并在下一代模型重访,领导者亲自使用并修正判断。

这套方法改变了产品经理的身份。传统 PM 通过文档和流程降低协作不确定性;Research PM 还要降低“模型行为不确定性”。他需要同时理解用户、token、研究机制、评估分布和产品愿景,把一句模糊抱怨变成研究团队可以行动、模型版本可以比较、用户价值可以验证的闭环。

AI 并没有让产品判断失去意义,而是让执行供给迅速膨胀,从而放大判断的价值。能生成什么不再稀缺;知道什么值得生成、如何验证、何时反对,以及怎样让团队持续承担,是 Dianne 认为仍需要由人完成的工作。

18

附录:关键人物、产品、数字与概念

项目详情
Dianne PennAnthropic AI Research 与 Labs 团队产品负责人;2023 年加入,首位技术产品经理;此前参与 Amazon Alexa AI,并在 JP Morgan 做高收益债券交易
Lenny RachitskyLenny's Podcast 主持人
Dario AmodeiAnthropic 联合创始人兼 CEO;访谈多次引用其对编码自动化和指数进步的判断
Ben MannAnthropic 联合创始人、Labs 负责人之一;推动团队追问 10x–1000x 版本
Golden Gate Claude将金门大桥 feature 调高的可解释性产品实验;约 24 小时上线,约 2,000 人体验
Opus 32024 年 3 月前后发布;编码训练的相对小改动帮助 Anthropic 形成早期差异化
Opus 4.5与 Claude Code 形成模型 × 产品共振的关键版本
Fable 5 / Mythos 5Anthropic 2026 年公开的 Mythos-class 模型及其不同 safeguards 版本
Claude Code将 agentic coding 能力变成端到端产品体验;由 Labs 式机制孵化
MCP连接 AI 与工具、数据的 Model Context Protocol;Anthropic Labs 的代表性产出之一
Claude Tag让 Claude 作为团队成员进入 Slack、积累频道 context 并异步执行任务的产品
Claude DesignAnthropic Labs 面向创意与软件体验探索的产品
Claude Science面向科研工具链的 AI workbench,体现 Anthropic 向 life sciences 延伸
Labs核心 roadmap 之外的非连续产品孵化团队;小 pod、强主题、弱原型
Evals are the new PRDs用用户轨迹和测试集直接表达产品需求,连接模型训练与测量
JSON eval 案例约 80% 的早期“不听指令”反馈指向 JSON;先构建 30–40 条案例,后来达到 99.9% 或 100%
Token maxingGarry Tan 提出每年花 10 万美元 token 可提前体验 2028;Dianne 主张关注实验产出而非消耗本身
模型发布密度2024 年全年四个模型或模型系列;2026 年第二季度超过这一数量
生产模型经验Dianne 表示已接触约 20 个生产版 Claude 和更多研究模型
子女教育四岁和八岁;培养好奇心、坚持和独立 inner voice,而非追逐具体工具
推荐书《How to Raise an Adult》;Eric Ries《Incorruptible》;管理实践中使用《Crucial Conversations》
个人信条“No matter how far you go, there's always another level.”(无论走多远,总有下一层)