首页 > 文档云仓 > 行业研究 | 企业研究 > 信息产业|互联网 > 计算机行业ChatGPT：深度拆解
计算机行业ChatGPT：深度拆解（20页）.pdf
举报与投诉【导读】近期由 OpenAI 团队发布的聊天机器人软件ChatGPT，凭借类人的语言理 解和表达能力，引发 AI 产业范式革命。通过拆解 ChatGPT，我们发现：1） 单一大模型或为未来 AI 训练主流方向；2）大模型训练可以积累底层语言能 力，但需要大算力支持；3）预训练语言模型和 Transformer 架构是模型底 层能力的根源；4）ChatGPT 商业化应用前景广阔。基于此，我们认为国产 厂商或将训练出自己的 GPT 模型，AI 产业有望迎来景气周期。目前国内在 模型层面具备产业基础的相关企业包括：百度、商汤、云从科技等；在应用 层持续推出新应用的相关企业包括：科大讯飞、金山办公、同花顺、汉王科 技等；在底层基础设施和工具有布局的相关企业包括：寒武纪、景嘉微等。
OpenAI 于 2015 年在旧金山成立，主要从事人工智能研究。2019 年 OpenAI 收到微软注资 10 亿美元，就 Azure 业务开发人工智能技术。2020 年发布 GPT-3 语言模型，由微软获得独家授权。2022 年，OpenAI 在 GPT-3.5 的 基础上推出了 ChatGPT，强化了人工智能的语言对话能力，引起社会广泛 关注。2023 年，微软拟对 OpenAI 追加数十亿美元投资，利用自身算力基 础设施资源发挥与 OpenAI 业务协同效应，深入布局生成式 AI 技术。
ChatGPT 采用监督学习+奖励模型进行语言模型训练，主要包括三个步骤： 1）第一阶段：训练监督策略模型。在 ChatGPT 模型的训练过程中，需要标 记者的参与监督过程；2）第二阶段：训练奖励模型。借助标记者的人工标 注，训练出合意的奖励模型，为监督策略建立评价标准；3）第三阶段：采 用近端策略优化进行强化学习。通过监督学习策略生成 PPO 模型，将最优 结果用于优化和迭代原有的 PPO 模型参数。我们认为，ChatGPT 的训练过 程采用单一模型+小样本学习+人类微调监督方式进行，取得了良好效果，验 证了 AI 大模型应用前景，大模型路线有望成为未来主流。
我们认为，ChatGPT 的成功离不开 AI 大模型的加持，强大的算法训练模型， 使得 ChatGPT 在迭代中获得实现接近自然语言的表达能力。拆解模型来看： 1）ChatGPT 使用单一大模型，积累强大底层通用能力，背后来自微软丰富 的算力资源支持，并通过引入监督学习，有效填补了大模型同质化漏洞；2） 模型的具体训练模式，采用的是预训练语言模型，而预训练语言模型无需人 工标签，具备高效性、通用性与正则化等内生优势，且二代模型具备上下文 交互能力，推动模型语义理解能力升级；3）Transformer 是大模型高效运行 的根基，天然适合高并发训练，通过编码器堆叠实现底层架构搭建。
ChatGPT 属于 AIGC 的具体应用，相比过去的 AI 产品，在模型类型、应用 领域、商业化等层面呈现出新的特点。1）技术方面：ChatGPT 属于自然语 言处理领域，与早期的自然语言技术相比，ChatGPT 采用大模型进行训练， 并加入人工反馈增强学习(RLHF)方法，实现了效果提升；2）应用方面： ChatGPT 属于生成式 AI，相比于分析型 AI，不局限于已有的内容，已在文 艺创作，代码处理，营销等多个创造性场景内得到应用；3）商业化方面： ChatGPT 在商业化方面彰显出强于以往 AI 应用的潜力，一方面用户数快速 增长，另一方面得到了微软为代表的科技巨头的支持，应用有望快速推广。
收藏(196)
点赞(225)
格式
大小
1.40MB
青云豆
免费
通信行业深度报告：ChatGPT掀起全球热潮，光通信领域有望受益于高算力需求（15页）.pdf
通信行业深度报告：边缘计算，始于AI，赋能应用（29页）.pdf
计算机行业AIGC算力时代系列报告：ChatGPT芯片算力，研究框架（29页）.pdf
AI模型研究：LLAMA-2与GPT-4对比分析，深度探析两大技术优势与应用前景（32页）.pdf
传媒+AI行业深度：行业变革、市场前瞻、投资主线分析及重点公司梳理（28页）.pdf
中国汽车行业：OpenAI发布AI对话模型ChatGPT，开启生成式AI商业化新机遇（14页）.pdf
计算机行业：ChatGPT通用化效果突破、前景广阔，国内AI产业链追赶仍有较大挑战（23页）.pdf
计算机行业ChatGPT系列报告：百度、三六零与科大讯飞，谁是ChatGPT“国家队”？（5页）.pdf
华为产业链深度系列研究：华为AI盘古大模型研究框架（31页）.pdf
机器人行业系列深度报告：机器人，人工智能和智能制造的交汇点（59页）.pdf
