大语言模型GUI智能体:人机交互新时代

图书信息

作者	张朝运 等
出版社	电子工业出版社
ISBN	9787121514074
出版时间	2025-11-01
字数	20.9万
分类	科技,计算机,网络,多媒体,数据通信

读书简介

随着大语言模型（LLM）技术的突破，人工智能正从“语言专家”演变为具备行动能力的 智能体。大语言模型驱动的图形用户界面（GUI）智能体革新了传统 GUI 的自动化方式，不 再依赖脚本或规则，而是通过自然语言理解、屏幕解析和自主决策，高效、灵活地执行任务。 《大语言模型GUI智能体 : 人机交互新时代》系统介绍这一新兴领域的发展背景、核心技术与应用场景，涵盖 GUI 智能体的架构设计、 数据采集，以及大行动模型（LAM）的构建、关键评估指标和应用，帮助读者掌握 GUI 智能体 的完整方法论，并深探讨 GUI 智能体当前面临的挑战与未来的发展趋势。

目录

前折页

内容简介

推荐序

前言

第1部分：基础理论与背景

第1章 大语言模型驱动下的人机交互革命

1.1 人机交互演进简史

1.1.1 从CLI到GUI：易用性与效率的折中

1.1.2 GUI的优势与局限

1.2 大语言模型的发展与影响

1.2.1 大语言模型的关键特征

1.2.2 大语言模型驱动智能体的诞生

1.3 大语言模型驱动的GUI智能体的兴起

1.3.1 GUI智能体的定义和意义

1.3.2 关键技术和形成动因

1.3.3 研究现状和初步应用概览

1.4 与API-Only智能体的比较与互补

1.4.1 API-Only智能体：成熟度与早期优势

1.4.2 GUI智能体：多模态下的交互变革

1.4.3 关键差异与适用场景

1.4.4 融合趋势：混合式智能体的未来

1.5 本章小结

第2章 GUI自动化的发展之路

2.1 早期GUI自动化

2.1.1 传统GUI自动化方法概览

2.1.2 典型工具与软件

2.2 GUI自动化的智能之路

2.2.1 机器学习在GUI自动化中的作用

2.2.2 计算机视觉在GUI自动化中的作用

2.2.3 自然语言处理在GUI自动化中的作用

2.2.4 强化学习在GUI自动化中的独特优势

2.3 本章小结

第3章 大语言模型与通用智能体

3.1 大语言模型基础

3.1.1 预训练

3.1.2 微调

3.1.3 后训练

3.1.4 视觉与文本的融合

3.2 通用智能体

3.2.1 推理分析

3.2.2 记忆存储

3.2.3 工具调用

3.3 本章小结

第2部分：核心技术与方法

第4章 GUI智能体的体系结构与核心设计

4.1 基础架构与工作流程

4.1.1 总体架构概览

4.1.2 工作流程总览

4.2 环境感知与平台适配

4.2.1 平台特性与适配挑战

4.2.2 环境状态捕获

4.3 提示工程

4.4 推理策略

4.4.1 规划

4.4.2 动作推断

4.4.3 补充输出

4.5 动作执行

4.5.1 GUI操作

4.5.2 原生API调用

4.5.3 AI工具辅助

4.6 记忆管理

4.6.1 短期记忆：支撑运行时上下文连贯

4.6.2 长期记忆：沉淀经验与跨任务泛化

4.7 本章小结

第5章 GUI智能体的高级增强与自我演进

5.1 基于计算机视觉的GUI控件识别

5.1.1 OCR、目标检测与控件识别

5.1.2 多模态在复杂GUI解析中的实践：以OmniParser为例

5.2 多智能体协作

5.2.1 专业化分工

5.2.2 智能体间协作

5.3 强化学习

5.3.1 GUI智能体在交互式环境下的建模

5.3.2 基于强化学习的GUI智能体训练

5.4 自我反思与自我进化

5.4.1 自我反思

5.4.2 自我进化

5.5 本章小结

第3部分：实践案例与应用

第6章 大语言模型驱动的GUI智能体框架与平台实践

6.1 网页端GUI智能体

6.1.1 常见流程与关键技术

6.1.2 典型的网页端GUI智能体示例

6.2 移动端GUI智能体

6.2.1 常见流程与关键技术

6.2.2 典型的移动端GUI智能体示例

6.3 桌面端GUI智能体

6.3.1 常见流程与关键技术

6.3.2 典型桌面端GUI智能体示例

6.4 跨平台GUI智能体

6.4.1 “一次开发，多端适配”的挑战

6.4.2 框架迁移与版本管理

6.4.3 典型跨平台GUI智能体示例

6.5 工业界案例

6.5.1 Anthropic Computer Use

6.5.2 OpenAI Computer-Using Agent和Operator

6.6 本章小结

第7章 GUI智能体数据集的采集与构建

7.1 数据的类型与来源

7.2 数据采集管线

7.3 现有数据集案例

7.3.1 网页端数据集

7.3.2 移动端数据集

7.3.3 桌面端数据集

7.3.4 跨平台数据集

7.4 本章小结

第8章 GUI智能体的大行动模型训练

8.1 从理解到执行：大行动模型的崛起

8.2 不同平台的大行动模型应用

8.2.1 网页端GUI场景：从指令到控件操作

8.2.2 移动端与桌面端大行动模型的对比与关键技术差异

8.2.3 跨平台大行动模型的融合与挑战

8.3 模型训练与微调

8.3.1 数据收集与准备

8.3.2 大行动模型训练主流框架详解

8.4 大行动模型案例分析

8.4.1 设计思路与架构概览

8.4.2 模型训练方法

8.4.3 集成部署与在线效果评估

8.5 本章小结

第9章 GUI智能体评测方法与展望

9.1 评测体系概览

9.2 测试用例设计

9.2.1 测试用例设计中的挑战

9.2.2 设计原则

9.2.3 用例类型

9.3 评估指标

9.3.1 成功率维度

9.3.2 效率维度

9.3.3 合规性与安全性维度

9.3.4 稳健性维度

9.3.5 用户满意度维度

9.4 度量标准

9.4.1 文本匹配

9.4.2 图像匹配

9.4.3 元素匹配

9.4.4 动作匹配

9.4.5 状态校验

9.5 常见评测平台与基准集

9.5.1 主流评测平台介绍

9.5.2 GUI智能体评测基准示例

9.6 未来发展展望

9.7 本章小结

第10章 详解Windows GUI智能体UFO

10.1 项目背景与时代意义

10.1.1 Windows平台的自动化挑战

10.1.2 UFO项目的提出与定位

10.2 UFO系统总体架构

10.2.1 架构设计理念

10.2.2 核心架构流程总览

10.2.3 虚拟化与安全隔离设计

10.2.4 多智能体协同模式

10.3 HostAgent：系统级编排与执行控制

10.3.1 模块定位与功能概述

10.3.2 体系结构与主要流程

10.3.3 工程实现细节

10.3.4 有限状态机与可靠性保障

10.3.5 内存管理与状态同步机制

10.4 AppAgent：应用专属智能体

10.4.1 模块定位与功能概述

10.4.2 架构原理与工作机制

10.4.3 本地有限状态机

10.4.4 内存管理与状态协同

10.5 关键技术模块详解

10.5.1 混合控件检测机制

10.5.2 统一GUI-API动作编排引擎

10.5.3 知识基座与持续增强机制

10.5.4 推测性多步动作执行优化

10.6 典型使用流程与案例分析

10.6.1 典型流程与案例解析

10.6.2 实践建议与常见问题

10.7 本章小结

第11章 GUI智能体的商业化落地与应用

11.1 GUI智能体应用现状概览

11.2 GUI智能体产品分析

11.2.1 基于网页浏览器的GUI智能体

11.2.2 跨平台GUI智能体

11.2.3 中国本土化GUI智能体产品

11.3 按应用场景分类的实际落地案例

11.3.1 企业办公自动化

11.3.2 电子商务与客户服务

11.3.3 软件开发与测试

11.4 实施经验与挑战分析

11.4.1 成功实施的关键因素

11.4.2 常见挑战与解决方案

11.5 新兴技术与未来趋势

11.5.1 多智能体协作技术

11.5.2 无代码GUI自动化平台

11.5.3 行业特定解决方案

11.6 实施教训与最佳实践

11.6.1 从失败案例中汲取的经验

11.6.2 最佳实践建议

11.7 结论与建议

11.7.1 总体评估

11.7.2 企业应用建议

11.8 本章小结

第4部分：未来展望与挑战

第12章 面向未来的挑战与研究方向

12.1 隐私保护：桌面端智能体的核心壁垒

12.1.1 背景与挑战

12.1.2 研究与工程应对策略

12.2 延迟、性能与交互流畅性

12.2.1 背景与挑战

12.2.2 研究与工程应对策略

12.3 安全性与可靠性：守住自动化底线

12.3.1 背景与挑战

12.3.2 研究与工程应对策略

12.4 人机协作与交互智能

12.4.1 背景与挑战

12.4.2 研究与工程应对策略

12.5 个性化与用户定制

12.5.1 背景与挑战

12.5.2 研究与工程应对策略

12.6 伦理与合规治理

12.6.1 背景与挑战

12.6.2 研究与工程应对策略

12.7 大规模泛化与可持续进化

12.7.1 背景与挑战

12.7.2 研究与工程应对策略

12.8 本章小结

第13章 本书总结

13.1 内容回顾与关键技术总结

13.2 实际应用与案例启示

13.3 面临的挑战与应对策略

13.4 未来研究方向与发展趋势

13.5 结语

参考文献

后折页