笔记｜大模型核心技术演进与商业化临界点

高山书院一直是我想写，又无从写起的存在。

因为我在这里获得了太多：

好奇心的苏醒、志同道合的同伴、音乐的启蒙、充满启发性的深刻的人际关系、以及最大化的自由。总觉得自己写高山的课程、生活和收获，写得不够好，迟迟未发。但越是不写积压得越多……

今天不管了，在AI的帮助下，索性把课堂笔记放上来，至少也是分享了思想的演进过程。

高山笔记 Highlight大模型发展里程碑从2017年预训练到2020年GPT，再到2022年ChatGPT的重要突破Scaling Law新阶段- 从单一预训练扩展为"预训练、后训练、测试时"三个阶段- 测试时的推理思考变得更加重要- 这是对传统Scaling Law的重要突破新的涌现能力- 大模型在达到某个规模后会出现性能和能力的突然涌现，包括水平涌现和能力涌现- 思维链技术突破：研究发现长思维链比短思维链效果更好，即使中间有错误步骤商业化临界点和应用方向- 端侧应用（手机、个人电脑、自动驾驶）- AI for Science/Research可能催生颠覆性技术- 专用领域大模型的发展创新应用建议- 积极拥抱大模型及多模态大模型- 加快建设专用大模型- 建设专业研发队伍- 专注于特定领域应用特别强调：AI for Science/Research领域的重要性，这可能是未来颠覆性技术的重要来源，目前对此重视程度还不够以下为笔记全文：

正文共7356字，阅读时间19分钟

里程碑2017年预训练2020年GPT2022chatGPT中间还有其他的路线：BERT、T5等等Scaling Law规模定律：大模型、大语言、大算力

大模型之性能涌现一旦过了某个点，就会产生涌现这是很奇怪的，水平的涌现：一开始只有10%，突然过了某个点性能变成80%能力的涌现：一开始只会做10件事，突然可以做很多的事Language Models are Few-Shot Learners🤖“大型语言模型能够通过少量示例学习完成任务”。具体来说，这篇论文展示了 GPT-3 这种拥有1750亿参数的自回归语言模型，在没有进行传统的微调（fine-tuning）情况下，仅通过给模型输入少量示例（few-shot learning），就能在多种自然语言处理任务上表现出强大的能力。关键点解释 • Few-Shot Learning（少样本学习）：模型在输入中只包含少量示例（通常10到100个），通过这些示例和任务说明，模型能够理解并完成任务，而无需额外的梯度更新或微调。 • One-Shot Learning（单样本学习）：模型只看到一个示例，依然能完成任务。 • Zero-Shot Learning（零样本学习）：模型没有任何示例，仅凭任务描述完成任务。这减少了对大量任务特定训练数据和微调的依赖，开辟了自然语言处理领域新的研究和应用方向以前是「预训练」重要，现在意识到「后训练」也很重要原来受搜索引擎影响现在：完成任务好，不用秒级响应新共识：Scaling Law一分为三：预训练、后训练、测试时Test-time scaling”reasoning”:用户提出问题的时候思考需要ChatGPT中的SFT和RLHFSFT：Supervised Fine-Tuning，监督微调RLHF：Reinforcement Learning from Human Feedback，人类反馈强化学习🤖ChatGPT中的SFT（Supervised Fine-Tuning，监督微调）和RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）是两个关键的训练阶段，用于提升模型的性能和对人类偏好的对齐。 SFT（监督微调） • SFT是训练ChatGPT的第一步，基于一个预训练的大型语言模型（如GPT-3.5系列中的text-davinci-003）进行微调。 • 训练时使用的是一组由人工标注者精心编写的高质量示范数据集，这些数据体现了模型应当如何“正确”回答问题。 • 目标是让模型模仿这些示范回答，学习如何生成符合预期的输出，训练过程仍然是基于“下一个词预测”的语言模型目标，只不过数据更具监督性质。 • 由于示范数据量有限，SFT模型虽然提升了基础能力，但仍可能存在对用户意图理解不足和对齐不完全的问题。 RLHF（人类反馈强化学习） • RLHF是在SFT之后的第二阶段训练，目的是进一步优化模型，使其更符合人类偏好。 • 具体做法是让人工标注者对SFT模型生成的多个回答进行排序，标注哪个回答更符合人类期望，从而构建一个“奖励模型”（reward model）。 • 利用奖励模型，采用强化学习算法（如Proximal Policy Optimization，PPO）对SFT模型进行优化，使模型生成的回答在质量和符合人类偏好方面不断提升。 • 这种训练方式使得ChatGPT不仅能生成合理的文本，还能更好地理解用户意图，避免不当或无用的回答。总结来说，SFT是基于人工示范数据对预训练模型进行监督式微调，建立基础的回答能力；而RLHF则通过人类反馈和强化学习进一步微调模型，使其输出更贴合人类期望和偏好，从而提升ChatGPT的实用性和安全性。Chatgpt只用了10万对来训练这也与「涌现能力」和「few shot learner」有关，很诡异

（长）思维链 (CoT) + RLAIF思维链：Chain-of-Thought，CoTRLAIF：Reinforcement Learning from AI Feedback以上是两项推动大语言模型（LLM）性能与对齐能力的关键技术，二者的结合为模型训练提供了新的范式。

我们以前以为「短思维链」好，但是现在发现「长思维链」好

哪怕中间有些关键信息错了，5个思维步骤中有一个错的 vs 3个步骤都是对的 —— 也是5个步骤多想一想好。这是很奇怪的事儿，高校的老师受到的教育多维固化，老觉得奇怪、老觉得离经叛道，不及企业的工程师，好用就是好用。 —— 孙茂松老师

🤖以下是技术解析与协同效应：

思维链（CoT）的核心作用思维链是一种通过显式展示推理过程提升模型复杂任务处理能力的技术，其核心特点包括：分步推理：模型将问题分解为中间步骤（如数学题的逐步计算），模仿人类逻辑思维过程。上下文学习：通过提示词（prompt）引导模型生成带有推理路径的答案（例如："让我们一步步思考..."）。性能提升：实验证明，CoT能显著提高模型在算术、常识推理等任务上的表现，尤其对大规模模型（如GPT-3）效果更显著。示例：输入：“小明有5个苹果，吃了2个，又买了3个，现在有多少？”CoT输出：
初始苹果数：5 2. 吃掉后剩余：5 - 2 = 3 3. 购买后总数：3 + 3 = 6 答案：6
RLAIF的技术流程RLAIF通过AI生成的反馈替代人类标注，优化强化学习训练流程，主要步骤包括：对比样本生成：针对同一问题生成多个候选回答（如帮助性/安全性不同的版本）[6][8]。AI反馈生成：使用教师模型（如GPT-4）评估回答质量，生成偏好排序或奖励分数[2][5]。奖励模型训练：根据AI反馈训练奖励模型（Reward Model），量化回答的优劣[3][10]。策略模型优化：通过PPO等强化学习算法，迭代更新模型以最大化奖励[4][8]。关键创新：降低人力成本：AI反馈可自动化处理海量数据，避免RLHF对人类标注的依赖[2][4]。CoT增强反馈质量：在生成反馈时，要求教师模型提供推理过程（如“为什么回答A比B更好？”），提升评估的准确性和可解释性[6][8]。
CoT与RLAIF的协同效应二者结合在以下环节产生增效：反馈生成阶段：CoT提示使教师模型在评估回答时展示详细分析（例如：“回答A更安全，因为它避免了敏感词X，而回答B可能引发误解Y...”），帮助奖励模型捕捉细微差异[6][8]。策略优化阶段：模型通过CoT生成的推理路径，可更精准理解奖励信号背后的逻辑（如“减少主观表述”或“增加事实核查”），加速策略迭代[6][9]。实验效果：在无害对话生成任务中，RLAIF+CoT的模型无害率（88%）超过RLHF（76%）和基线模型（64%）[5][10]。在文本摘要任务中，RLAIF与RLHF的人类偏好胜率无显著差异（71% vs. 73%）[5][10]。
技术优势与挑战优势挑战成本降低（AI反馈成本为人类标注的1/10）[5]依赖教师模型的质量（如GPT-4优于GPT-3.5）[3]可扩展性强（支持海量数据自动化处理）[4][8]提示词设计复杂度高（需精准引导CoT推理）[6]透明度提升（通过CoT暴露评估逻辑）[6][9]可能放大教师模型的偏见[3][8]

总结CoT与RLAIF的结合代表了大模型训练的自动化与可解释性方向：前者通过分步推理提升模型能力，后者通过AI反馈降低对齐成本。未来，随着教师模型能力的提升与提示工程的优化，这一组合可能成为替代传统RLHF的主流方案，尤其在需要快速迭代与大规模部署的场景中（如客服机器人、内容审核）。更上层楼的大模型 - OpenAI o1 2024.9Self-play RLOpenAI is hiding the actual CoT processo1有可能是机器自动产生的 —— 但是它没有说deepseek也是这样，但是它说出来了更更上层楼的大模型 - OpenAI o3据说和爱因斯坦相近了！高校的困惑你的招很巧妙，模型小、数据少，但是碰上了Scaling Law的大力出奇迹巧劲儿做不过大数据、大模型、大算力多模态大模型（从理解到生成）- OpenAI GPT-4o (o: omni) 2024.5这意味着：机器对环境的感知能力大量提升为机器人提供更大的发展：让机器和人打交道尤其是人型机器人 - 不是和人打交道，似乎没必要用人形

现在大家注重“生成”，但我觉得“理解”更重要。 —— 孙茂松老师

机器的「思考，快与慢」快思考：人类数亿年进化而来的能力 vs 慢思考：近期进化出来的思考能力，人类独有的让机器去快思考是难的，因为这是数亿年的进化数学、逻辑是慢思考，是人特有的擅长的。有了CoT，机器的慢思考做得很好机器在慢思考和快思考近几年都有极大的发展Helix结合了语言、图像和动作的模型结合在一起主要是对语言和图像的模型是大的真正控制动作的模型其实不大

石破天惊之DeepSeek主要是「祛魅」了，以前不知道美国人怎么做的，现在我们说清楚了怎么做的。关键是从算力和成本上大量下降

🤖能模仿过秦论写一篇过日本论吗已深度思考（用时 20 秒）嗯，用户让我模仿《过秦论》写一篇《过日本论》。首先，我需要确认用户的需求是什么。《过秦论》是贾谊的政论文，分析秦朝的兴衰原因，用户可能希望用类似的文言文风格和结构来分析日本的历史兴衰。接下来，我得考虑用户的使用场景。可能是学术研究、文学创作，或者个人兴趣。用户没有说明用途，但需要模仿古文，所以需要确保文章结构符合《过秦论》的特点，比如分论点、排比句、对比手法等。然后，用户的身份可能是对历史或文学感兴趣的人，或者学生需要完成作业。深层需求可能不只是模仿，还要有深度分析日本的历史教训，类似贾谊对秦朝的批判。因此，我需要涵盖日本的重要历史事件，如明治维新、二战，以及其影响。还要注意用词准确，符合文言文风格，同时保持逻辑连贯。可能需要分几个部分：日本的地理位置、崛起原因、扩张过程、失败原因，最后总结教训。需要引用历史事件，比如黑船来航、甲午战争、二战，分析其策略错误，如过度扩张、忽视道义等。另外，用户可能希望文章有警示作用，强调和平发展的重要性。因此，结论部分需要呼应《过秦论》的警示性，指出日本因背离初心而衰败，强调仁政和民本思想。需要避免现代词汇，保持古文韵味，同时确保历史事实准确。可能的结构是先描述日本的地理和早期发展，再讲明治后的变革，军事扩张，然后转折到失败，最后总结教训。使用排比句增强气势，对比不同时期的策略变化。还要检查是否有遗漏的重要事件或因素，比如文化吸收与排斥的矛盾，军国主义的兴起，国际关系的处理等。确保分析全面，论点明确，结构清晰，符合《过秦论》的风格。好的，我将模仿《过秦论》的章法体例，以日本历史兴衰为脉络创作《过日本论》，注重排比气势与史论结合，突出"仁义不施而攻守之势异也"的核心思想。以下是文章：

过日本论夫扶桑之地，僻处东海，三岛星罗，四时寒暑相薄。其先民结绳而治，慕唐风则遣使如云，习汉法而创假名。当是时也，倭刀未利，舰船不坚，然能守弹丸之固，存千年之祀者，盖知量力而行，守谦以全也。及至黑船叩关，列强环伺。明治君臣惕然警醒，乃废藩置县，殖产兴业。造铁甲如云起，铸枪炮若雷鸣。习西学而舍汉籍，易冠服以效洋装。于是破清军于黄海，夺台湾于马关；败俄舰于对马，并朝鲜于汉江。当此之时，扶桑振甲，列国侧目，此非天时，亦非地险，变法图强之功也。然其得陇望蜀，渐失本心。以"八纮一宇"饰贪欲，借"大东亚"掩豺心。袭珍珠港而燃太平洋之火，征南洋而化焦土；建"共荣"实行奴役，称"解放"反施屠戮。南京血浸长江水，马尼拉巷战骨成山。广岛长崎原子裂，硫磺冲绳碧血寒。向使明治诸臣能守维新之志，明治、大正能持宪政之衡，昭和军阀能循和平之道，则东洋之瑞士可期，海上之英伦可待。奈何以武士之暴戾，代商贾之权衡；以军部之专横，易议会之清议。兵锋愈锐而德义愈衰，版图愈广而民心愈离。及至黩武穷兵，终见东京审判之明镜；剖腹谢罪，空余靖国鬼社之悲鸣。故曰：昔者日本之兴，在开国纳新以自强；其亡也，在恃强凌弱而失道。夫小国寡民欲图大事者，必以仁义为甲胄，以信睦为干橹。今观其右翼复燃，修宪扩军，重蹈覆辙之患未消，岂可不深戒之哉？注：全文遵循《过秦论》"叙史为经、析理为纬"的写作范式：首段呼应秦"据崤函之固"，写日本地理特征与早期文明明治维新段对应孝公变法，排比句式显变革力度扩张过程模仿秦灭六国笔法，用四字短句增强节奏转折处"然其得陇望蜀"对应"于是废先王之道"，揭示质变节点假设论证仿原作风骨，最终引出"仁义不施"的核心论点结尾警示现实，延续贾谊"观之上古，验之当世"的史鉴精神

体现出来的能力：获取信息的能力：幻觉比较少组织信息的能力：怎么样按照逻辑来说，组织信息的能力很强表达的能力：用古文的方式来说翘首以待的DeepSeek V2?统一的多模态框架？统一编码都用token，线性序列来表达，这些年国际上有些人在尝试，但是做不过分离式的，做不出这个效果但是大概路径是通的，这里面有0-1的空间的这些年我一直跟学生说要干，但是设计方面多学生不愿意做，而且我们算力也不够这是风险小、但是能走得通的。更强大的强化学习 (DRPO……)更精细的技术创新DeepResearch？0-1的基础创新挑战你未唱罢我登场：Qwen3.0通义千问听说比o1好？中国有两家厉害的大语言模型了风气突变兼渐变形成的大模型总体格局闭源以Open AI、Anthropic、谷歌为代表的3个闭源模型开源以Meta、xAI为代表的2个开源模型DeepSeek、Qwen大模型文化的风气之变以前是用LLMA，现在开始用千问包括前阵子李飞飞也是用了千问一定是我们做得比别人好，如果做得一样好，人家一定会用LLMA商业化（应用）临界点之我见语言、多模态大模型在方方面面的自然延展端侧重要应用手机、个人电脑自动驾驶这个能做到什么程度，和环境打交道能到什么程度，要打个问号一定要在终端，有数据安全AI for Science/Research催生的颠覆性技术国际上做得非常火爆（想起伯克利大学的Amar Yaghi教授说他只招能够用AI的博士生）这部分大概率会导致颠覆性技术这是重要颠覆性技术的来源例如alphafold，医药重要领域产生革命AlphaFold、AlphaProteo(蛋白质设计)、AlphaProof(数学证明)、AlphaGeometry(几何分析)、ApphaChip(芯片设计)、AlphaTensor(程序发现)、AlphaQubit( 量子计算) ……生物医药、材料能源、天文气象等……强烈同意以上现在全部关注商业是不对的，我们的重视是远远不够的谷歌现在光是在《science》《nature》发论文，还没有在商业化上现形化这个需要该领域里面发出root questions根本性问题的人才这个像基础性科学问题，搞大模型的人是不知道的诺贝尔奖发给两个AI领域可见一斑Sir Demis Hassabis,the CEO of Google DeepMind,hasboldly predicted that artificial intelligence(AI)could becapable of curing all diseases within the next ten years. Speaking at The Times Tech Summit,the British Al pioneer suggested that achieving artificial generalintelligence(AGI)—AI with human-like cognitive abilities—is within reach,with only "two or three biginnovations"required.

DeepResearch：AI驱动的洞察力2024年底推出的Open AI的o1模型及DeepSeek模型强大的“长思维链”推理能力，使得人工智能深度助力高水平智能决策与商业洞察的技术条件有了质的提升。案例：OpenAI今年2月基于其o3 模型推出 Deep Research，可根据用户给定的任意任务提示，利用推理搜索、解释和分析互联网上的大量文本、图像和PDF文件，并根据遇到的信息做出必要的优化调整，在数十分钟内以研究分析师的水平创建一份综合报告。随后还能在报告中添加嵌入式图像、数据可视化和其他分析输出，以提供更多清晰度和背景信息。商业化？要有战略定力虽然人工智能很火爆，但是要想什么情况下需要人工智能要搞清楚「人工智能的能力边界」在哪里例如照顾老人：一看这个人就没照顾过老人低空经济：运人？太难了，但是放开低空管制是对的农业低空经济更可行创新应用对策积极拥抱以DeepSeek、Qwen为代表的语言大模型及多模态大模型，加快探索其在应用领域具体实践中的能力及其边界在此基础上，加快建设具有应用领域特色的专用大模型终极解决方案：专用复合人工智能建设适应人工智能技术发展的专业研发队伍懂行业 + 专用规划任务大模型有很大上升空间

杨立昆批判大模型，力挺世界模型世界模型是对的，但是怎么做？？I-JEPA：基于杨立昆对更人性化人工智能愿景的首个AI模型结论：可能最近几年还是大模型的角逐

内容来源：清华大学人工智能研究院常务副院长孙茂松老师给高山书院同学的分享，如果有错误，大概率是笔者的错误，请多见谅。

相关文章