LLaMA(Large Language Model Meta AI )是Meta AI在2023年2月发布的开放使用预训练语言模型(Large Language Model, LLM),其参数量包含7B到65B的集合,并仅使用完全公开的数据集进行训练。LLaMA的训练原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。 LLM具有建模大量词语之间联系的能力,但是为了让其强大的建模能力向下游具体任务输出,需要进行指令微调,根据大量不同指令对模型部分权重进行更新,使模型更善于遵循指令。指令微调中的指令简单直…

2023年 12月 5日 0条评论 415点热度 0人点赞 dechenyun 阅读全文

GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型,当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落,并且能在未经预训练的情况下,完成阅读理解、问答、机器翻译等多项不同的语言建模任务。GPT-2模型尤其在文本生成上有着惊艳的表现,其生成的文本在上下文连贯性和情感表达上都超过了人们的预期。 GPT-2模型由多层单向Transformer的解码器部分构成,根据模型层次规模,GPT-2模型有以下几个规格: Megatron-Deepspeed框架结合了两种主要技术: …

2023年 12月 5日 0条评论 502点热度 0人点赞 dechenyun 阅读全文

自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。 本文将基于HRN人脸重建模型,以人脸头像作为输入,利用层次化表征实现快速人脸几何、纹理恢复,指导您如何实现使用文本生成高精度3D模型。关于模型的详细信息,请参见HRN人脸重建模型。 创建ECS实例 本文使用的ai-inference-solution市场镜像中,内置了以下三个模型及运行环境。 v1-5-pruned-emaonly.safete…

2023年 12月 5日 0条评论 371点热度 1人点赞 dechenyun 阅读全文

自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。 本文基于阿里云GPU服务器和文本生成视频模型,采用Unet3D结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现文本生成视频功能。 创建ECS实例 本文使用的ai-inference-solution市场镜像中,内置了以下三个模型及运行环境。 v1-5-pruned-emaonly.safetensors:Stable Diffusion v1…

2023年 12月 5日 0条评论 360点热度 0人点赞 dechenyun 阅读全文

ChatGLM-6B是一个开源的、支持中英双语对话的语言模型,它基于General Language Model(GLM)架构,具有62亿参数;并使用了和ChatGPT相似的技术,经过约1 T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,能生成符合人类偏好的回答。 本文基于阿里云GPU云服务器和ChatGLM-6B语言模型,指导您如何快速搭建一个AI对话机器人。 创建ECS实例 前往实例创建页。 按照界面提示完成参数配置,创建一台ECS实例。 需要注意的参数如下,其他参数的配置,请参见…

2023年 12月 5日 0条评论 347点热度 0人点赞 dechenyun 阅读全文

Stable Diffusion是一个可通过文本生成图像的扩散模型,基于CLIP模型从文字中提取隐变量,并通过UNet模型生成图片;最后通过逐步扩散、逐步处理图像,优化图像质量。 AIACC-Inference(AIACC推理加速器)Torch版可通过对模型的计算图进行切割,执行层间融合,以及高性能OP实现,大幅度提升PyTorch的推理性能。您无需指定精度和输入尺寸,即可通过JIT编译的方式对PyTorch框架下的深度学习模型进行推理优化。更多信息,请参见手动安装AIACC-Inference(AIACC推理加速…

2023年 12月 5日 0条评论 356点热度 0人点赞 dechenyun 阅读全文

本文通过一些常见的选型场景推荐,便于您了解实例规格的关键特点,在库存不足、产品下线、使用抢占式实例等场景中,您可以有多种备选实例规格,充分利用阿里云云服务器ECS弹性灵活的特点。 本文主要介绍如何选择企业级实例规格族,不包括入门级(共享型)规格族。有关入门级实例选型,请参见共享型或突发性能实例概述。 最新活动,可关注ECS产品详情页。 了解实例规格族 启动一台ECS实例前,您需要结合性能、价格、工作负载等因素,做出性价比与稳定性最优的决策。根据业务场景和vCPU、内存、网络性能、存储吞吐等配置划分,阿里云云服务器E…

2023年 12月 5日 0条评论 2023点热度 0人点赞 dechenyun 阅读全文