LLaMA(Large Language Model Meta AI )是Meta AI在2023年2月发布的开放使用预训练语言模型(Large Language Model, LLM),其参数量包含7B到65B的集合,并仅使用完全公开的数据集进行训练。LLaMA的训练原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。 LLM具有建模大量词语之间联系的能力,但是为了让其强大的建模能力向下游具体任务输出,需要进行指令微调,根据大量不同指令对模型部分权重进行更新,使模型更善于遵循指令。指令微调中的指令简单直…

2023年 12月 5日 0条评论 415点热度 0人点赞 dechenyun 阅读全文

GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型,当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落,并且能在未经预训练的情况下,完成阅读理解、问答、机器翻译等多项不同的语言建模任务。GPT-2模型尤其在文本生成上有着惊艳的表现,其生成的文本在上下文连贯性和情感表达上都超过了人们的预期。 GPT-2模型由多层单向Transformer的解码器部分构成,根据模型层次规模,GPT-2模型有以下几个规格: Megatron-Deepspeed框架结合了两种主要技术: …

2023年 12月 5日 0条评论 502点热度 0人点赞 dechenyun 阅读全文

自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。 本文基于阿里云GPU服务器和文本生成视频模型,采用Unet3D结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现文本生成视频功能。 创建ECS实例 本文使用的ai-inference-solution市场镜像中,内置了以下三个模型及运行环境。 v1-5-pruned-emaonly.safetensors:Stable Diffusion v1…

2023年 12月 5日 0条评论 360点热度 0人点赞 dechenyun 阅读全文

ChatGLM-6B是一个开源的、支持中英双语对话的语言模型,它基于General Language Model(GLM)架构,具有62亿参数;并使用了和ChatGPT相似的技术,经过约1 T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,能生成符合人类偏好的回答。 本文基于阿里云GPU云服务器和ChatGLM-6B语言模型,指导您如何快速搭建一个AI对话机器人。 创建ECS实例 前往实例创建页。 按照界面提示完成参数配置,创建一台ECS实例。 需要注意的参数如下,其他参数的配置,请参见…

2023年 12月 5日 0条评论 347点热度 0人点赞 dechenyun 阅读全文

Stable Diffusion是一个可通过文本生成图像的扩散模型,基于CLIP模型从文字中提取隐变量,并通过UNet模型生成图片;最后通过逐步扩散、逐步处理图像,优化图像质量。 AIACC-Inference(AIACC推理加速器)Torch版可通过对模型的计算图进行切割,执行层间融合,以及高性能OP实现,大幅度提升PyTorch的推理性能。您无需指定精度和输入尺寸,即可通过JIT编译的方式对PyTorch框架下的深度学习模型进行推理优化。更多信息,请参见手动安装AIACC-Inference(AIACC推理加速…

2023年 12月 5日 0条评论 356点热度 0人点赞 dechenyun 阅读全文

  Alpaca大模型是一款基于LLaMA的大语言模型,它可以模拟自然语言进行对话交互,并协助用户完成写作、翻译、编写代码、生成脚本等一系列创作任务。同时,使用了中文数据进行二次预训练,提升了中文基础语义理解能力。 本文基于阿里云GPU服务器和Alpaca大模型,指导您如何快速搭建个人版“对话大模型”。 创建并配置ECS实例 在ECS实例创建页面,创建ECS实例。 关键参数说明如下,其他参数的配置,请参见自定义购买实例。 实例规格:选择实例规格为ecs.gn7i-c16g1.4xlarge。 镜像:公共镜…

2023年 12月 5日 0条评论 429点热度 0人点赞 dechenyun 阅读全文