开通和添加 AI 数字人
更新时间: 2024/07/05 09:48:25
网易云信即时通讯 IM 数字人是与各类 LLM(Large Language Models)模型快速互通的解决方案,帮助您低门槛快速即时通讯搭配 AI 场景的落地。数字人可以以用户形态表现,也可以工具形态表现。本文介绍了如何在网易云信控制台上开通和添加 AI 数字人。
前提条件
根据下文操作前,请确保您已经:
开通数字人
-
首次使用数字人功能,您可以在应用的即时通讯 IM 产品下的 功能配置 > AI 数字人 页签免费试用数字人。
-
如果您使用的是子账号,请联系主账号开通 功能管理 的 可编辑 操作权限。
数字人模板
网易云信提供了数字人模板,方便您快速基于模板复制为自定义的数字人。
分类 | 数字人模板 | 介绍 |
---|---|---|
虚拟角色 | 英文润色师 | 一个根据目标群体和语境不同,对原有英文语句的语法结构、词汇进行优化润色的数字人。 |
拟人角色-哈利波特 | 角色扮演,影剧/小说聊天搭子,在 IM 聊天室中构建虚拟世界多好友互动。 | |
中文-多语言翻译官 | 一个 AI 翻译数字人,可以根据不同语言设定,对输入的中文进行翻译,应用于协同办公场景。 | |
专属 AI 客服 | 一个 AI 客服,可以结合资料库(RAG)的内容,向用户进行客服应答。 | |
个人助理 | 开启 AI 聊功能,以 引用 消息内容做上下文,提供用户与好友互动的 AI 辅助应答。 | |
提效工具 | 多语言翻译工具 | 一个 AI 翻译工具,可以识别不同语言输入,翻译成目标语言,提升 IM 沟通效率。 |
AI 划词搜索工具 | 类似腾讯微信 搜一搜 工具,对消息气泡内容划选,发起搜索。也可联动上传资料增强索引。 |
添加数字人
单个应用能够添加的数字人数量不能超过 20 个。
- 如果您有需要创建更多的数字人,请 提交工单 联系网易云信。
- 添加后数字人暂不支持删除,您可以编辑数字人选择 停用。
第一步:信息录入
-
在 AI 数字人 页签下,在 我的数字人 区域,单击 添加数字人。
-
在 添加数字人 页面,分 信息录入、模型配置、资料上传、IM 配置 四个阶段完成数字人配置。
在 信息录入 阶段,您需要填入:
第二步:模型配置
模型配置是针对 LLM(Large Language Model)模型进行配置,包括模型选型、API Key 填写、功能设定(初始提示词)、输入模型、自定义变量、输出参数(Temperature、top_p)设定等。
-
选择供应商,可选项为:
- 阿里云 通义千问:阿里云自主研发的大型语言模型,擅长创作、代码编写、翻译等多种技能,以精准高效的问答服务著称。
- 微软 Azure OpenAI:微软提供的云端 AI 服务,集成 OpenAI 的先进 LLM 模型如 GPT-3,为企业用户带来生成式 AI 能力,支持文本处理、内容创建、代码理解等,强调易用性和责任性,通过 Azure 平台灵活部署和付费。
- 定制本地部署大模型:在个人或企业本地服务器上安装并运行大型预训练模型。通过调整模型参数、数据集与硬件配置,实现特定需求的优化和服务,提升数据安全与降低延迟,并引入 Ollama 等工具使之更简化。
-
根据您选择的模型供应商进行模型配置:
阿里云通义千问配置项 说明 参考 选择模型
提供通义千问热门 LLM 模型:
- qwen-plus
- qwen-turbo
- qwen-max
- qwen-plus-1201
- qwen-max-longcontent
《阿里云》模型介绍
API-KEY 访问您在阿里云创建的 DashScope 应用的凭证,用于调用鉴权以及计量计费。 《阿里云》开通服务并创建 API-KEY 微软 Azure OpenAI配置项 说明 参考 资源名称 访问您在 Azure 门户中创建的 Azure OpenAI 资源,即 Resource Name。 《微软》创建和部署 Azure OpenAI 服务资源 部署实例 访问您在 Azure 资源里配置的实例,即 Chat Deployment Name。 API 版本 选用的 api-version,遵循 YYYY-MM-DD 格式,例如 2023-05-15、2023-07-01-preview 等。 《微软》Azure OpenAI 服务 REST API 参考 API-KEY 您在 Azure 申请的 API Key。 《微软》创建和部署 Azure OpenAI 服务资源 定制本地部署大模型配置项说明 部署方式
网易云信为数据资产安全性要求更高的客户提供定制本地部署大模型私有化部署。
- 专属云:提供独立的环境,包括专用的硬件资源和网络隔离,相关资源由网易云信提供商管理和维护。
相较于公有云部署,您拥有更高程度的控制。 - 私有化:私有化部署给予企业最大程度的控制权,从硬件选择到软件配置,再到数据管理,一切都是企业自行决定和管理。
服务 URL 定制后再填入。 Key Secret 如果您有定制本地部署大模型的需求,请 提交工单 联系网易云信技术支持工程师。网易云信会将私有化环境部署好的模型服务地址和鉴权信息填入,保证公有云即时通讯应用(IM)可与私有化部署的模型互通。
:::
-
如果您选择的供应商是阿里云通义千问和微软 Azure OpenAI,则需要继续完成以下配置。
配置项 说明 功能设定
通过提示词设定数字人执行任务的指南和标准。
- 明确任务目的:告诉数字人它的主要职责,以及需要注意的细节。
- 纳入变量参数:通过语法为
{{variable}}
的方式引入自定义变量作为占位符,例如,用 {{target_audience}} 表示目标读者群体,指导数字人在执行任务时需考虑外部因素。 - 促进上下文理解:提醒 AI 在回答的过程中综合考量所有指导原则
输入模式
支持两种输入模式:
- 指令+上下文:这种模式下,用户不仅给出具体的操作指令,还会提供相关的背景信息、环境设定或特定要求(如目标受众、情境因素等)。这使得数字人能够基于更全面的信息来理解和执行任务,有助于生成更加精准和符合需求的响应。
- 纯指令:仅包含操作指令的输入模式更为简洁明了,适合于那些任务明确、不需要复杂背景解释的情景。用户直接告诉 AI 做什么,数字人执行起来可能更快捷。
自定义变量 在 功能设定 中,通过提示词引入自定义变量,作为占位符指导数字人在执行任务时需考虑外部因素。语法为 {{variable}}
。多样性
提供温度(Temperature)和顶尖 P 采样(top_p)两个参数的自定义设定,用来控制数字人生成文本的随机性和质量。
建议在调试过程中,不要同时更改这两个值,方便您控制参照物。 - Temperature:用于调整模型输出的随机性,取值范围为 [0,2)。
- 当 Temperature 较低(接近 0,不建议取值为 0)时,模型倾向于生成概率最高的 token,输出较为确定,重复性较高,接近训练数据中的常见模式。
- 当 Temperature 较高时,模型会更加随机地选择 token,即使那些概率相对较低的 token 也可能被选中,导致生成的文本更加多样、新颖,但也可能更偏离常规或事实。
- top_p:一种称为核(Nucleus)抽样的策略,用来限制考虑用于生成的最高概率 token 的集合。
- 设置一个较低的 top_p 值(例如 0.1),意味着只有概率最高的那些 token(这些 token 的累积概率达到或超过 0.1)会被考虑用于生成,这有助于排除那些非常低概率但可能引入噪声或不连贯性的 token。
- 相反,如果 top_p 设得较高(如 0.75),则模型会在更广泛的概率分布中选择 token,这增加了多样性和创造性,但同时也可能降低生成文本的整体质量和连贯性。
-
(可选)如果您需要自定义设定以下参数,可 提交工单 联系网易云信技术支持工程师。
阿里云通义千问参数 数据类型 默认值 说明 max_tokens
integer
1500 / 2000
指定模型可生成的最大 token 个数。
- qwen-turbo 最大值和默认值为 1500 tokens。
- qwen-max、qwen-max-1201、qwen-max-longcontext 和 qwen-plus 模型,最大值和默认值均为 2000 tokens。
repetition_penalty float 1.1 用于控制模型生成时的重复度。提高 repetition_penalty 时可以降低模型生成的重复度。1.0 表示不做惩罚。没有严格的取值范围。 微软 Azure OpenAI参数 数据类型 默认值 说明 max_tokens integer 16 指定模型可生成的最大 token 个数。提示(prompt)加上 max_tokens 的令牌计数不能超过模型的上下文长度。除最新模型(支持 4096 个令牌)外,大多数模型的上下文长度为 2048 个令牌。 logit_bias map Null 修改指定令牌在候选结果中出现的可能性。接受 JSON 对象,该对象将令牌(由其在 GPT tokenizer 中的令牌 ID 指定)映射到从 -100 到 100 的关联偏差。可以使用此 tokenizer 工具(适用于 GPT-2 和 GPT-3)将文本转换为令牌 ID。在数学上,采样之前会将偏差添加到由模型生成的 logit 中。具体效果因模型而异,但 -1 和 1 之间的值会减少或增加选择的可能性。-100 或 100 等值会导致相关令牌的禁止或独占选择。例如,可以传递 {"50256": -100} 以防止生成 <| endoftext| > 令牌。 presence_penalty float 0 介于 -2.0 和 2.0 之间的数字。正值会根据它们到目前为止是否在文本中出现来惩罚新令牌,从而增加模型谈论新话题的可能性。 frequency_penalty float 0 介于 -2.0 和 2.0 之间的数字。正值会根据它们到目前为止在文本中的现有频率来惩罚新令牌,从而降低模型逐字重复同一行的可能性。 best_of integer 1 在服务器端生成 best_of
候选结果并返回(每个令牌的日志概率最低的参数)。无法流式传输结果。由于此参数会生成许多候选结果,因此可能会快速消耗您的令牌配额。谨慎使用并确保对 max_tokens 进行了合理的设置。 -
模型配置完成后,您可以:
- 单击 下一步 进入后续配置流程。
- 单击 上一步 返回 信息录入 页签。
- 单击 调试预览 唤起模型输入输出调试窗口。
第三步:资料上传
通过整合企业特有的本地数据与模型的标准化配置,能够针对企业的具体需求,高效调试并优化数字人,确保其性能与企业环境精准适配。
-
文件上传。
-
方式一:本地上传
可支持 txt、doc、docx、ppt、pptx、xls、xlsx、pdf、csv、xml、markdown 文件格式,一次可批量上传 10 个文件,单文件最大 20MB。
-
方式二:网站解析
根据公网可访问的网址,通过网页爬虫解析内容。
-
-
文件嵌入。
第四步:IM 配置
IM 配置是指在即时通讯应用中,为数字人添加头像和账号 ID,如下图所示:
![image.png](https://yx-web-nosdn.netease.im/common/042585ebdf0dc819510d3a414dc72d09/image.png)
管理数字人
创建数字人后,您可以按以下方式对数字人进行管理:
-
编辑:在数字人卡片右上角,单击 编辑 可以修改数字人的配置,修改项可参考上文 添加数字人。
-
集成:在数字人卡片下方,单击 集成 可以获取到本地项目集成开发需要的字段配置和参考资料。
-
调试:在数字人卡片下方,单击 调试 可以唤起模型输入输出调试窗口。
-
上传资料:在数字人卡片下方,单击 上传资料 可以增加数字人的私有知识库资料。