Agent 学习分享笔记
Agent
概念的原型
John McCarthy（约翰·麦卡锡，1927-2011）
- 1956年的达特茅斯会议上提出了“人工智能”这个概念
-
1958年在MIT发明了LISP 语言
-
1959年提出分时系统 (Time-Sharing），服务器与云计算的概念原型
-
1959年与马文·明斯基一起创立了MIT AI Lab（MIT Computer Science and Artificial Intelligence）
-
1962年创立SAIL（Stanford Artificial Intelligence Lab）
-
1971年获得计算机界的最高奖项图灵奖
John McCarthy (1959) — Programs with Common Sense.pdf《具有常识的程序》
虽然当时没有使用Agent这个词，但这个模型就是后来Agent定义的直接前身The Advice Take，“基本程序将从前提列表中得出直接结论。这些结论将是陈述句或祈使句。当推导出祈使句时，程序将采取相应的行动。”
理论的基础
Carl Hewitt（卡尔·休伊特，1944-2022）
-
1960年提开发了Planner语言
-
1973年提出在MIT提出Actor Model
Hewitt, Bishop, Steiger（1973）- A universal modular ACTOR formalism for artificial intelligence.pdf
《一种用于人工智能的通用模块化参与者形式》
1973年Hewitt在MIT提出参与者模型(Actor Model)，把独立实体、接受消息、产生反应和并发环境中执行任务的能力系统化地定义成一个通用计算架构，进一步构建了Agent的理论基础。
Agent的出现
Marvin Minsky（马文·明斯基，1927-2016）
-
1951年构建了第一台随机连接的神经网络学习机SNARC（模拟了40个神经元，能够学习如何走出迷宫）
-
1957年发明了共聚焦显微镜，为了更好地研究大脑的神经网络结构顺手发明
-
1959年与约翰·麦卡锡一起创立了MIT AI Lab（MIT Computer Science and Artificial Intelligence）
-
1963年发明了第一台头戴式图形显示器
-
1969年获得计算机界的最高奖项图灵奖
-
1969年与西摩·帕尔特合著的《感知机》一书打击了单层感知机的致命缺陷（著名的XOR问题）
Marvin Minsky (1986)-The Society of Mind.pdf《心智社会》
心智社会=不同的Agent组合构成
本身只能做一些不需要思想或思维的简单事情。然而，当我们以某种特殊的方式将这些Agent结合成社会时，这就产生了真正的智能。
没有意识+单一简单任务+可交互
Agent的定义
Michael Wooldridge（迈克尔·伍尔德里奇，1966-至今）
-
1995年发表《Intelligent Agents: Theory and Practice》，确立了Agent的学术标准
-
2002年出版《An Introduction to MultiAgent Systems》，多智能体领域必读教科书
Wooldridge（1995）— Intelligent Agents Theory and Practice.pdf《多智能体:理论与实践》
对智能体进行了详细的综述性描述，给出了著名的弱Agent定义。一个 Agent 必须具备四个属性：
-
自主性：自己控制行为，不受人直接干预。
-
社会性：能通过某种通信语言与其他Agent交互。
-
反应性：能感知环境并做出反应。
-
预动性：不仅是受刺激反应，还能主动追求目标。
强Agent定义。一个 Agent 必须具备心智概念四个属性：
-
知识
-
信念
-
意图
-
义务
Agent的类型
Stuart J. Russell （斯图尔特·乔纳森·罗素，1962-至今）
-
1995年出版《Artificial Intelligence: A Modern Approach 》，人工智能领域的“圣经”
-
2016年创立加州大学伯克利分校人类兼容人工智能中心
-
2025年当选美国国家工程院院士
Stuart J.Russell , Peter Norvig（1995）-Artificial Intelligence a Modern Approach.pdf
《人工智能：现代方法》
四种基本的Agent程序
-
简单反射型Agent（直接查表或条件-动作规则。空调，温度高则启动制冷）
-
基于模型的反射型Agent（增加了内部状态和世界模型。自动驾驶车在转弯时，虽然看不见后车，但记忆里知道后面有车）
-
基于目标的Agent（增加了目标和搜索/规划能力。你上车说：“去机场。” 这个 Agent 开始查地图，它发现有三条路能通往机场。 它随便选了一条（比如一条绕远的小路），只要这条路最终能导向机场）
-
基于效用的Agent（增加了效用函数 来衡量最优解。你上车说：“去机场。” 这个 Agent 同样发现了三条路。但它不仅看终点，还会给每条路打分，然后选择得分最高的路线）
学习型Agent（增加了评判元件和学习元件，实现了自我进化。它拥有一个能够自我修改的机制。它不仅在执行任务，还在观察结果。）
BDI Agent
哲学的基础
Michael Bratman（迈克尔·布拉特曼，1945-至今）
-
1987年出版《Intention, Plans, and Practical Reason》，提出了信念-欲望-意图模型， 该模型如今被应用于包括人工智能在内的许多领域
-
2012年当选美国艺术与科学院士
Michael E. Bratman (1987)-Intention, Plans, and Practical Reason.pdf《意图，计划与实践理性》
信念 (Beliefs) +欲望 (Desires)+意图 (Intention)
-
信念：对当前世界状态的认知模型，而不是事实本身
-
欲望：想要实现的目标集合，目标可以互相冲突，而不需要被立即执行
-
意图：从多个目标中，选出可执行的目标，并对其产生承诺，然后执行且抗拒重新考虑
形式逻辑化
Anand Rao（阿南德·拉奥）
Michael Georgeff (迈克尔·乔杰夫)
Rao,Georgeff（1995）— BDI Agents From Theory to Practice.pdf
采用模态逻辑来表示三种心理态度，模态逻辑就是用带前缀的表达式表示可能性(◇)、必须性(□)、相信(B)、希望(D)、承诺要实现(I)、否定(¬)、与(∧)、包含(→)、可推导(⊨)等复杂命题。
局限性
Wooldridge（1995）— Intelligent Agents Theory and Practice.pdf
BDI的局限：
-
难以处理多个目标冲突（规则有限，无法最优）
-
在动态环境中行为僵化（不同的使用场景对于意图的持久性要求不一样）
-
缺乏多 Agent 合作机制
-
无法自动优化计划（动作序列模板或计划库）
BDI更适合单体理性主体
Multi-Agent Systems
多智能体系统（MAS）
MAS的显著特点包括效率、低成本、灵活性和可靠性
效率：源于分工，复杂任务被分解为小任务分配给不同智能体
低成本：开销分摊在多个智能体上
灵活性：智能体可用任何水平的预定义知识解决任务
可靠性：若某智能体失效，任务可重新分配
Nicholas R. Jennings（2001）-An Agent-Based Approach for Building Complex Software Systems.pdf
RL Agent
RL Agent 的核心是通过与环境的交互来学习策略，它的目标不是执行预定义规则，而是通过奖励信号不断优化自己的行为。与传统Agent相比，RL Agent能处理动态环境、延迟奖励、多目标优化和高维决策问题，并且通过深度学习获得了强大的表示能力。RL Agent的发展推动了AlphaGo、无人驾驶、机器人控制等领域的突破，是现代 AI Agent的关键组成部分。
Sutton，Barto（2018）Reinforcement Learning An Introduction.pdf
AI Agent
AI Agent是能够感知环境、理解任务、进行推理与计划，并采取行动改变环境的自主系统
推理结构
Chain-of-Thought (Wei et al., 2022).pdf
论文提出了思维链 (Chain-of-Thought, CoT) 的概念：通过在Prompt中提供一系列中间推理步骤，可以显著提升大语言模型在复杂推理任务（如算术、常识推理、符号推理）上的表现。它打破了以往Few-shot Prompting 只能给出“输入-输出”的限制，让模型学会展示过程。
工具调用
Yao et al., 2022 — “ReAct Synergizing Reasoning and Acting in Language Models”.pdf
Wu et al., 2023 — “HuggingGPT Solving AI Tasks with ChatGPT and its Friends in HuggingFace”.pdf
论文提出ReAct框架，将语言模型的推理过程与可执行动作结合，使模型在“思考”的同时能够调用工具、检索信息或执行环境操作。 首次将“推理轨迹”与“行动序列”整合为统一过程，使 LLM 从语言生成器转变为具备实际执行能力的 Agent。
论文提出利用大模型作为任务调度者，由其规划任务步骤并选择合适的专业模型执行。通过这种LLM作为控制器的方式，系统实现了跨模型协作，使 Agent 能够处理复杂的多阶段任务。
规划能力
Wang et al., 2023 — “Plan-and-Solve Prompting Improving Zero-Shot Chain-of-Thought Reasoning”.pdf
Yao et al., 2023 — “Tree of Thoughts Deliberate Problem Solving with Large Language Models”.pdf
论文提出Plan-and-Solve方法，模型先生成任务的全局规划，再根据规划逐步求解。此结构有效解决了 CoT 在长推理路径中易偏离目标的问题，使 Agent 具备面向未来的任务分解能力，是迈向自主性的重要一步。
Tree-of-Thought（ToT）将推理从线性扩展为树状搜索结构，使模型能够探索多条推理路径并进行选择或回溯。这一方法大幅提升了语言模型在规划、决策、多步骤逻辑探索上的性能，使其具备类似搜索代理（search agent）的能力。
反思能力
Shinn et al., 2023 — “Reflexion Language Agents with Verbal Reinforcement Learning”.pdf
论文提出Reflexion框架，引入语言化反思：Agent 在执行失败后会生成反思总结，并将其存入记忆体系中，用于指导下一轮尝试。使Agent具备自我修正与自我提升能力，形成反思→修正策略→再尝试的循环，是代理具备元认知能力的重要进展。
多智能体
Li et al., 2023 — “CAMEL Communicative Agents for Mind Exploration”.pdf
Wu et al., 2023 — “AutoGen Enabling Next-Gen LLM Applications via Multi-Agent Collaboration”.pdf
CAMEL提出了AI代理间自主协作的机制：两个或多个 Agent 在设定的角色框架下相互对话，通过协商、分工与任务规划共同完成目标。该结构展示了语言驱动的人工社会行为，为多智能体协作研究提供了基础模型。
AutoGen构建了一个多智能体协作框架，将不同职能的Agent组织为可组合的工作流。通过明确的交互协议，AutoGen使构建复杂Agent系统变得模块化与可扩展，是工业界最重要的多 Agent 工程体系之一。
总结
各位同学，今天我分享的意义就是了解是“什么是Agent,什么是 AI Agent？”
这一讲非常必要，因为现在几乎所有人都在谈AI Agent，很多视频号都在宣传扣子空间、Dify是AI Agent。但我们从历史的发展来看，答案是否定。这些宣传让初学者会对AI Agent形成一种极其狭隘、甚至会误导未来学习路径的认知。
无论是工作流还是对话流，都是给Agent配置一个触发条件，指定输入，绑定工具，设置处理逻辑，它就可以自动执行任务。它本质就是一段固定的流程图和工具调用器，它不会自己改变目标，不会根据环境变化调整策略，不会推理行为后果，不会在失败后反思，行为完全依赖你提前写好的流程图。并不具备自主性、社会性、反应性和预动性。