一句话，是怎么被「想」出来的
它其实不「懂」，它在猜下一个字
它的知识从哪来:读遍全网 → 岗前培训 → 社会化
它没有记性,只能看眼前这张纸:上下文窗口
把它当一个博学、健忘、爱讨好、偶尔胡说的实习生
你打完一句话按下发送,到它吐出第一个字,中间发生的事,和你想的可能完全不同。它不是在「查资料」「思考问题」,它在做一件事:根据前面所有的字,猜下一个最可能的字。把这件事讲透,后面所有「它为什么会胡说」的疑问都会自己解开。
本章内容:下一个 token 预测 → 随机性与流式输出 → token、速度与计费 → 幻觉从哪来、何时高发、怎么减少 → 模型回答与搜索的分工
给它「今天天气真」,它会接「好」;给它「床前明月」,它会接「光」。它不是在理解意思,而是凭「语感」接最可能的下一个字——接完再把整句重读一遍,再接下一个,一个字一个字往外蹦。
像一个读遍了全世界文字的人在玩「接龙」。你说上半句,他凭直觉脱口而出下半句。他不是去翻书查证,而是「我读过的东西里,这时候一般接什么」。读得越多,接得越顺、越像那么回事——但「像真的」和「是真的」,是两件事。
今天天气真所以它的输出是「一个字一个字生成」的,不是一次想好整段。这也是为什么你看到它像打字机一样往外蹦字。
它读到的不是一个个汉字或单词,而是被切成的小碎片,叫 token。一个 token 可能是一个字、半个词、或几个字母。它的「猜下一个」,猜的其实是「下一个 token」。
我喜欢 strawberry这是帮助理解的示意：不同模型的切法会不同；重点是，它看到的是一块块 token，不是逐个字母。
为什么它数不清「strawberry 里有几个 r」?因为它可能先看到 straw + berry 两块，而不是逐个字母。理解 token 还有个实际用处：它的「贵」和「长度限制」都是按 token 算的。
它并不是永远选概率最高的那一个 token。为了不让回答机械重复，系统有时会在“概率靠前的一小撮候选”里抽取一个。这就是为什么同一个问题，多问几次会得到不同措辞。
像点菜。低随机性是“每次都点评分最高的招牌菜”；高随机性是“在前几名里换着试”。前者稳定，后者新鲜，但不保证每次都最好。
因为输出是逐 token 生成的。它先生成一个，再把这个 token 也放回上下文，继续预测下一个。你看到的“流式输出”，正是这个循环被实时展示出来。
这个现象有个名字叫幻觉(Hallucination)。关键要理解:幻觉不是 bug,是它工作方式的自然结果。它优化的目标从来是「接得像不像真话」,而不是「说的是不是真的」。
像一个特别会聊天、又死要面子的人。你问他一个他不知道的事,他不会说「我不知道」,而是流畅地、自信地编一个听起来很合理的答案——因为在他的世界里,「把话接得漂亮」比「承认不知道」更重要。
你问的是冷门事实、内部信息或最新事件，但没有给它资料、也没有联网工具。它仍会倾向把话接完。
“请列出某本不存在的书的三条观点”这类前提，会诱使它先接受设定，再继续编细节。
当你强要日期、出处、案例、数字，它可能优先满足格式，而不是先承认“我没有可靠依据”。
越具体、越像真的、越难核对的细节，越需要警惕。流畅不是证据；引用格式完整，也不等于引用真实。
| 你在做什么 | 大模型默认做的事 | 搜索工具做的事 |
|---|---|---|
| “解释一下量子计算” | 基于已学到的语言与知识模式，生成一段连贯解释。 | 找出可能相关的网页、论文、百科条目，供你打开核查。 |
| “今天这家公司股价多少” | 若没有实时资料，可能只会给出过期记忆或拒绝确认。 | 需要取到当前数据源，且仍要确认市场、币种与更新时间。 |
| “把三篇文章归纳成方案” | 擅长理解、组织、比较、改写和起草。 | 负责把三篇原文找齐；找到以后，归纳仍是模型的强项。 |
这些任务要求逐个符号、逐步状态都准确；而语言模型擅长的是从整体模式中预测下一个 token。两者有重叠，但不是同一种能力。
倒数第几个字母、严格拼写、按字符计数，要求看到极细的单位；token 视角并不天然擅长它。
多位数运算、复杂单位换算、需要零误差的公式，最好交给计算器、代码或表格工具。
证件号、合同条款、数据库记录等，应让它帮你解释与检查，再回到原始数据校验。
不是说它永远做不好，而是不能把“偶尔答对”当成“可以免检”。
“再做一遍”不会让反馈变清楚；指出哪一步偏了、正确标准是什么，下一版才更可能变好。
一个只会「猜下一个字」的机器,是怎么变成能回答问题、能帮你写东西、还挺懂礼貌的助手的?靠三步训练:先让它把全网读一遍,再教它怎么好好回答,最后教它什么话该说、什么话不该说。这三步,决定了它的知识、它的能力、和它的「性格」。
本章内容:预训练学到什么 → 微调如何教会助手式回答 → 对齐改变什么 → 知识截止 → 训练、联网、RAG 的区别 → 数据边界与安全取舍
像培养一个新人。预训练 = 让他读完了图书馆(有学识,但不会干活);微调 = 岗前培训教他怎么做这份工作;对齐 = 融入团队,学会什么话该说、什么话不该说。三步下来,一个「书呆子」才变成一个「靠谱同事」。
预训练的核心任务仍是“根据前面预测后面”。只不过材料极多、循环极多，于是模型逐渐吸收了语言规律、常见知识关联、文体与任务模式。
什么词常一起出现、什么句子读起来通顺、不同语言如何对应。
大量文本反复出现的概念、人物、事件与关系，会被压进参数的统计模式里。
论文、代码、邮件、故事等写法，也会成为它可模仿的模式。
它不是把网页逐篇背下来再搜索。更像读过海量材料后，脑中留下了非常巨大的“语言与关联的压缩痕迹”。因此它能泛化，也因此不能保证逐条原文复述准确。
同样的知识底子，经过不同的偏好训练，模型会在有用、简洁、谨慎、拒答、语气等方面表现不同。这就是你感受到的“模型性格”。
人类或规则会在多种答案中比较：哪一个更准确、更有帮助、更安全、更符合任务。
模型逐渐学会少一些无依据的自信、多一些澄清问题，或在风险场景中停下来。
预训练像把一段时间以前的资料，整批读进模型。训练结束后，模型本身不会自动追新闻、读新网页。所以它知道的是「当时读到的世界」，不是实时世界。
预训练资料停在哪，知识大致就停在哪。之后的事，要联网或把资料给它。
对齐阶段的偏好不同：有的更严谨，有的更活泼，有的更谨慎。
它学会“让人满意”后，偶尔会顺着错误前提回答；重要判断仍要自己把关。
课堂互动：你最近遇到的 AI 怪现象，能用「读过什么 / 学过怎么回答 / 被怎样对齐」中的哪一步解释？
| 方式 | 发生在什么时候 | 它改变什么 | 适合解决什么 |
|---|---|---|---|
| 训练 | 模型发布前或再训练时 | 模型本身的能力与倾向 | 长期学会一种能力或领域模式 |
| 联网搜索 | 回答这一次问题之前 | 临时给它最新公开资料 | 新闻、价格、今天发生的事 |
| RAG / 知识库 | 回答这一次问题之前 | 临时给它筛出的私有或专业资料 | 公司制度、产品手册、项目文档 |
数据来源、覆盖语言、专业文本比例、截止时间，都可能不同。
模型大小、训练目标、是否针对代码或推理等任务做过额外训练，都会不同。
团队对“简洁、谨慎、拒答、幽默、风险”的取舍不一样，语气就会不同。
系统提示、工具、联网状态、随机性和当前上下文，也会改变同一模型的表现。
所以“哪个模型最好”通常不是一个孤立问题。更有用的问法是：它在我的任务、我的资料和我的验收标准下，是否可靠？
公开网页只是材料的一部分。不同模型还可能使用书籍、代码、论文、许可数据、人工编写的问答等；具体构成、清洗方式与使用权限会因团队和产品而不同。
小语种、专业领域、地区性知识和线下经验，往往比热门内容更容易缺失。
训练结束以后，世界继续变化；“曾经常见”也不等于“现在仍正确”。
数据中的刻板印象、低质量内容、常见但不严谨的说法，都可能影响输出倾向。
| 你的需求 | 优先尝试 | 原因 |
|---|---|---|
| 只是这次任务要有背景 | Prompt / 贴资料 | 最快、最便宜、最容易改；适合一次性或正在探索的需求。 |
| 资料常更新，且要能引用 | RAG / 知识库 | 不改模型，把相关原文在回答前动态送入；适合制度、手册、产品文档。 |
| 每次都要同一种格式或专业动作 | 微调或固定工作流 | 把重复模式固化下来；前提是样例质量高、任务稳定、回报足够大。 |
先写清 prompt，再整理知识库，最后才考虑微调。很多“它不懂我”的问题，其实是资料没有给、任务没有定义、验收没有说清。
用户希望模型直接、有帮助、少打断；产品又需要避免明显伤害、违法操作、隐私泄露和高风险误导。对齐不是一道“完全正确”的标准答案，而是持续调整的边界设计。
很多人以为 AI 会「记住」和你聊过的东西。其实不会。它每次回答,都是把整段对话重新读一遍,再猜下一个字。它能「看到」的范围是有限的,这个范围叫上下文窗口。理解这一点,你就明白了为什么长对话它会「忘」、为什么把关键信息写进 prompt 那么重要、以及知识库/RAG 到底在解决什么。
本章内容:每次重读什么 → 长对话为什么会忘 → 长窗口的局限 → 如何交接摘要 → RAG 的流程、风险与可追溯性
你和它聊了十句,它回第十一句时,做的事是:把前面十句 + 你的新问题,整个当成一张纸重新读一遍,然后猜下一个字。它没有「记住」,它只是「每次都把整张纸再看一次」。
像一个只能看眼前这张纸的失忆症患者。纸上写了什么,他就知道什么;纸上没写的,他一概不知。你们聊得越久,纸越写越满——一旦写满了,最早写的那部分就得被擦掉,给新的腾地方。被擦掉的,他就真的「忘」了。
这张「纸」的大小,就是上下文窗口(Context Window),也是按 token 算的。窗口越大,它一次能「看到」的内容越多。
你以为的“聊天记录”，只是窗口的一部分。真正送给模型阅读的内容，通常还包含系统规则、工具返回结果、你贴的长资料，以及它自己此前说过的话。
聊太久,最早的内容被挤出了窗口。它不是不理你,是真的看不到那部分了。重要信息记得再说一遍。
它只看得到「纸上」的东西。你要它记住的背景、要求、资料,必须写进当前对话里,它才「看得到」。
把外部资料临时「贴到纸上」再让它读,它就能基于最新的、私有的资料回答——这就是知识库的原理。
第一课讲的「写好 prompt」,底层原因就在这:它没有记性、只看眼前的纸。你的 prompt,就是你能往那张纸上写的字。写得清楚、把该给的背景都给全,它才答得准。
让它把已确认的背景、结论、待办压成一份短摘要，带到下一轮。
重要约束、样例、版本号不要依赖“它应该记得”，每次关键任务都再给一次。
需求澄清、写作、改代码、验收分开聊；一个对话只保留一条主线。
资料太多又常更新时，不如每次按问题检索相关片段，而不是全塞进来。
不要指望所有人永远记得两小时前的每一句话。会前材料、会议纪要、清晰议程，都是在替上下文窗口减负。
RAG 的价值是“更容易找到证据”，不是“自动获得真理”。
从“梳理需求”变成“写宣传稿”，或从“讨论方案”变成“逐行调试”，就值得新开。
它反复引用已废弃的要求、忘掉最新决定、风格越来越偏时，不要硬续聊。
先写一份“交接摘要”：目标、已知事实、约束、已完成、下一步，再带去新对话。
不同项目、不同客户、不同权限的材料，本来也不应混在同一段上下文里。
更长的上下文能让模型一次处理更多材料，但“能放进去”与“能准确抓住最关键的一句”仍是两件事。材料越多，重点越容易被噪音、重复和冲突信息淹没。
真正决定答案的一条约束，可能藏在几十页背景之后；应在任务开头再次明确。
同一规则有新旧两版时，模型不一定会自动选择最新版本；要标明生效日期和优先级。
把所有材料一股脑贴进来，可能比精选相关材料更差，因为它增加了干扰项。
重要材料要“摘要 + 原文位置”一起交接；需要精确时，回到原文，不要只信摘要。
答案不只要“讲得通”，还要让别人能追溯“为什么这么说”。可追溯，才是知识库落地时真正节省沟通成本的地方。
前三章讲的都是「它是什么」。这一章把那些原理,变成你能用的判断力:什么活该交给它、什么活得留个心眼、怎么问才问得好。这些不是零散的技巧,而是从前面的底层原理一条条推导出来的。
本章内容:能力边界 → 提问的五个要素 → 工具如何扩展能力 → 验收闭环 → 隐私、权限与效率 → 一句话使用原则
这招叫思维链(Chain of Thought):在提问后加一句「请一步一步来」,答案质量常常肉眼可见地变好。原理其实很朴素。
像做数学题,列草稿 vs 直接报答案。它是一个字一个字往外蹦的(还记得第一章吗?)。如果逼它一上来就报结论,它没有「打草稿」的空间,容易蒙一个。让它先把过程一步步写出来,每一步都成为下一步的「纸上依据」,它就更可能推对。
这件事发生在哪，面向谁，已经有什么资料。
要它做什么动作：提炼、比较、起草、批改、规划。
哪些不能编、哪些必须保留、哪些信息还不确定。
表格、清单、邮件、字数、语气、是否要给出处。
只靠语言模型时，它主要在“接话”。接上搜索、代码执行、数据库、企业系统等工具后，它可以查、算、读、写、办事——但每一步的输入、权限与结果都仍需要治理。
让它先出初稿、给它明确反馈、由你负责签字。你会用得更快，也更不容易被一段流畅文字带着走。
| 模糊问法 | 更可执行的问法 | 为什么更稳 |
|---|---|---|
| 帮我写个方案 | 面向公司管理层，基于以下调研结论，起草一页方案；包含目标、三项措施、风险和待决事项。 | 明确了读者、材料、产物结构与范围。 |
| 总结一下这份文件 | 按“结论 / 依据 / 风险 / 需确认”四栏总结；每条结论附原文页码，不要补充文件外的信息。 | 让“总结”变成可检查、可追溯的交付物。 |
| 这个代码为什么报错 | 这是运行环境、报错全文和最小复现代码。先判断最可能原因，再给最小修改，说明每处改动的作用。 | 减少猜测，便于你逐步验证。 |
好提示词的目标不是写得长，而是减少对“你心里默认条件”的猜测。
客户资料、身份证件、医疗信息、未公开财务数据、账号密钥等，不应因为“想让它帮忙”就直接粘贴。
能用角色、区间、占位符表达的，就不要给真实姓名、号码、地址和完整原文。
不同产品对数据保留、训练使用、团队权限、外部连接器的处理不同；工作场景要遵循组织规定。
标题、提纲、邮件初稿、会议纪要、资料分类：先拿 70 分版本，再由人决定方向和重点。
对外发布、带数字的分析、合同与政策、代码上线、会影响他人的决定：先核依据，再交付。
把它当一个
博学·健忘·爱讨好·偶尔胡说
的实习生
博学 → 什么都能聊,先让它起草
健忘 → 关键信息每次都要给全(上下文窗口)
爱讨好 → 别指望它反驳你,你得自己判断
偶尔胡说 → 具体事实一律自己核(幻觉)
| 中文 | 英文 | 一句话解释 |
|---|---|---|
| 大模型 / 大语言模型 | LLM | 读遍海量文本、练出超强语感、靠「猜下一个字」工作的模型。 |
| Token(词元) | Token | AI 眼里的「字」。文本被切成的小碎片,长度和计费都按它算。 |
| 幻觉 | Hallucination | 它自信地编出看似合理、实则不对的内容。是工作方式的自然结果,不是 bug。 |
| 预训练 | Pre-training | 训练第一步:读遍全网,练语感。 |
| 微调 | SFT | 训练第二步:教它怎么好好回答问题。 |
| 对齐 | RLHF | 训练第三步:教它什么话该说、什么招人喜欢。 |
| 上下文窗口 | Context Window | 它一次能「看到」的内容上限。超出的部分会被「忘掉」。 |
| 思维链 | Chain of Thought | 让它一步步把过程写出来,答案更靠谱。 |
| RAG / 知识库 | RAG | 把外部资料临时「贴到纸上」给它读,让它基于最新/私有资料回答。 |
不完整。模型内置知识会截止；但联网或 RAG 能在本次回答前提供新资料。
不对。还要看是否检索到正确片段、资料是否最新、结论是否真由原文支持。
不对。输出会随上下文、资料、随机性与任务条件变化；高风险任务仍需验收。
目标不是背术语，而是形成一个动作：给足上下文 → 让它起草 → 按依据验收 → 把好用的问法留成模板。
它不「懂」·它在猜下一个字
你负责把关,它负责干活
看懂了它「怎么想」,你就知道
什么时候信它、什么时候留个心眼、怎么问它才答得好。
—— 通识课 · 看懂 AI 系列