← Back to ExploreYShared byYuki Sato
Feynman teaching note
什么是大语言模型
SubjectComputer Science
Area tags
Computer science
大语言模型(LLM)本质上是一个'超级自动补全':给它一段文字,它预测下一个最可能出现的词,一个接一个地续下去。
它是怎么学会的?把海量文本(书、网页、代码)喂给它,反复做同一个练习:遮住下一个词,让它猜,猜错就微调内部的参数。做上万亿次之后,为了把下一个词猜准,它被迫'顺带'学到了语法、事实、推理套路,甚至写代码的模式——因为这些都能帮它预测得更好。
所以它并不是在数据库里查答案,而是根据学到的统计规律现场生成。这也解释了它的两面:既能灵活地组织语言、举一反三,也会一本正经地'编'出听起来合理但其实错误的内容(幻觉),因为它优化的目标是'像',而不是'对'。
Same topic, fresh practice—does not count as an adaptation.
Practice building on this note. If you publish, it can show “Based on” and add an adaptation.
Feedback & gaps
Clarity score: 83/100How well you know it: Can use it anywhere
用'预测下一个词'来解释:为什么大语言模型有时会自信地说错话(幻觉)。
- 没有解释'上下文窗口'为什么会限制它能记住多少内容。
- 缺少对训练后'对齐/微调'环节的说明。
How I worked through the gaps
它到底在优化什么?
理解'像'与'对'的区别。
Q1模型训练时被奖励的是'说对'还是'说得像人类会说的'?
You是'说得像',即预测最可能的下一个词,而不是核实事实。
Coach对,这正是它会产生幻觉的根源:目标是像,不是对。
Comments
No comments yet.