级别: 硕士生
UID: 130053
精华: 0
发帖: 1100
威望: -5 点
积分转换
愚愚币: 0 YYB
在线充值
贡献值: 0 点
在线时间: 2678(小时)
注册时间: 2019-08-30
最后登录: 2024-11-23
楼主  发表于: 2024-08-29 16:25天前

 大模型开发路径主要有哪些?

近年来,大模型在全球资本市场和技术市场掀起狂澜,已经成为人工智能发展的重要方向之一。它被广泛应用于图像识别、语音识别、自然语言处理等领域。那么,大模型开发路径主要有哪些?下面就让小编来为大家简单介绍下:

  目前大模型的开发主要有两种路径,一种是从头构建完整大模型;另一种是在开源的通用大模型之上调优。前者所需数据、算力、时间投入较大,但大模型的性能更为突出。后者模型的参数和能力受限于开源模型,但成本较低,可以快速形成所需的大模型。

  完整大模型开发流程:

  首先是训练构建基座模型。基座模型已经初步具备良好的知识框架和认知能力,但需要复杂指令的准确引导才可以生成正确内容,因而一般不能直接用于作为日常交互。

  其次是策略精调。目的是让模型具备适用性,能与人类正常交流,即让基座模型理解用户想问什么,以及自己答的对不对。这个环节主要通过高质量的人工标注<指令,答案>优化模型。

  第三步是训练一个独立于基座模型的判别模型,用来判断模型生成结果的质量,为下一步的强化学习做准备。

  最后一步是利用奖励机制优化基座模型,完成模型的领域泛化能力。本阶段无需人工标注数据,而是利用强化学习技术,根据上一阶段判别模型的打分结果来更新内容生成模型参数,从而提升内容生成模型的回答质量。

  关于大模型开发问题,小编就先为大家介绍到这里。值得注意的是,大模型定制开发的过程始于需求分析,开发团队需要与客户或项目相关方进行充分沟通。小编这里为大家推荐分形科技公司,具体服务内容,大家可通过公司官网咨询了解。
分享:

愚愚学园属于纯学术、非经营性专业网站,无任何商业性质,大家出于学习和科研目的进行交流讨论。

如有涉侵犯著作权人的版权等信息,请及时来信告知,我们将立刻从网站上删除,并向所有持版权者致最深歉意,谢谢。