首页下载资源人工智能人工智能系列白皮书-大模型技术(2023版).pdf

ZIP人工智能系列白皮书-大模型技术(2023版).pdf

weixin_508299353.28MB需要积分:1

资源文件列表:

大模型技术白皮书(2023版).zip 大约有2个文件
  1. 大模型技术(2023版).pdf 3.79MB
  2. __MACOSX/._大模型技术(2023版).pdf 597B

资源介绍:

人工智能系列白皮书-大模型技术(2023版).pdf
中国人工智能系列白皮
——大模型技术2023 版)
中国人工智能学会
二○二三年九月
《中国人工智能系列白皮书》编委会
任:戴琼
执行主任:王国
任:陈 刘成林 孙富春 王恩东
王文博 赵春江 周志
员:班晓 陈松灿 邓伟文 董振江
杜军平 付宜利 古天 桂卫华 胡国平
黄河燕 季向阳 贾英 焦李成
刘庆峰 刘增良 鲁华 马华东 苗夺
朴松昊 乔俊 孙长银 孙茂 陶建华
王卫宁 王熙照 王蕴红 吾守尔·斯拉木
吴晓蓓 杨放春 张小川 张学工
周国 周鸿祎 周建
祝烈煌 庄越挺
《中国人工智能系列白皮书----大模型技术》编写组
陶建华 黄民烈 文继荣 王海峰 刘知远
杨小康
目录
1 大模型技术概述 .......................................................................... 1
1.1 大模型技术的发展历程 ............................................................. 1
1.2 大模型技术的生态发展 ............................................................. 5
1.3 大模型技术的风险与挑战 ......................................................... 7
2 语言大模型技术 .......................................................................... 9
2.1 Transformer 架构 .......................................................................... 9
2.2 语言大模型架构 ....................................................................... 13
2.2.1 掩码语言建模 .................................................................... 13
2.2.2 自回归语言建 ................................................................ 14
2.2.3 序列到序列建 ................................................................ 14
2.3 语言大模型关键技术 ............................................................... 15
2.3.1 语言大模型的预训练 ........................................................ 15
2.3.2 语言大模型的适配微调 .................................................... 17
2.3.3 语言大模型的提示学习 .................................................... 20
2.3.4 语言大模型的知识增强 .................................................... 22
2.3.5 语言大模型的工具学习 .................................................... 23
3 多模态大模型技术 .................................................................... 25
3.1 多模态大模型的技术体系 ....................................................... 25
3.1.1 面向理解任务的多模态大模型 ........................................ 25
3.1.2 面向生成任务的多模态大模型 ........................................ 27
3.1.3 兼顾理解和生成任务的多模态大模型 ............................ 29
3.1.4 知识增强的多模态大模型 ................................................ 31
3.2 多模态大模型的关键技术 ....................................................... 32
3.2.1 多模态大模型的网络结构设计 ........................................ 32
3.2.2 多模态大模型的自监督学习优 .................................... 33
3.2.3 多模态大模型的下游任务微调适配 ................................ 35
4 大模型技术生态 ........................................................................ 37
4.1 典型大模型平台 ....................................................................... 37
4.2 典型开源大模型 ....................................................................... 40
4.2.1 典型开源语言大模型 ........................................................ 40
4.2.2 典型开源多模态大模型 .................................................... 49
4.3 典型开源框架与工具 ............................................................... 53
4.4 大模型的训练数 .................................................................... 56
4.4.1 大模型的训练数据处理流程和特点 ................................ 56
4.4.2 大模型常用的公开数据集 ................................................ 59
5 大模型的开发训练与推理部 ................................................ 62
5.1 大模型开发与训 ................................................................... 62
5.2 大模型推理部署 ....................................................................... 64
5.2.1 大模型压缩 ........................................................................ 65
5.2.2 大模型推理与服务部署 .................................................... 66
5.3 软硬件适配与协同优化 ........................................................... 67
5.3.1 大模型的软硬件适配 ........................................................ 68
5.3.2 大模型的软硬件协同优化 ................................................ 68
6 大模型应用 ................................................................................ 70
6.1 信息检索 ................................................................................... 70
6.2 新闻媒体 ................................................................................... 71
6.3 智慧城市 ................................................................................... 72
6.4 生物科技 ................................................................................... 72
6.5 智慧办公 ................................................................................... 73
6.6 影视制作 ................................................................................... 74
6.7 智能教育 ................................................................................... 74
6.8 智慧金融 ................................................................................... 75
6.9 智慧医疗 ................................................................................... 75
6.10 智慧工厂 ................................................................................. 75
6.11 生活服务 .................................................................................. 76
6.12 智能机器人 ............................................................................. 76
6.13 其他应用 ................................................................................. 76
7 大模型的安全性 ........................................................................ 78
7.1 大模型安全风险引发全球广泛关 ....................................... 78
7.2 大模型安全治理的政策法规和标准规范 ............................... 79
7.3 大模型安全风险的具体表现 ................................................... 81
7.3.1 大模型自身的安全风险 .................................................... 81
7.3.2 大模型在应用中衍生的安全风 .................................... 82
7.4 大模型安全研究关键技术 ....................................................... 84
7.4.1 大模型的安全对齐技术 .................................................... 84
7.4.2 大模型安全性评测技术 .................................................... 87
8 总结与思考 .............................................................................. 90
8.1 协同多方合作,共同推动大模型发展 ................................... 91
8.2 建立大模型合规标准和评测平台 ........................................... 92
8.3 应对大模型带来的安全性挑战 ............................................... 93
8.4 开展大模型广泛适配,推动大模型技术栈自主可控 ........... 94
名词索引 ................................................................................................... 95
参考文献 ................................................................................................... 97
编写人员贡献......................................................................................... 116
100+评论
captcha