AI PC 大语言模型部署实验手册

一、 注册&登录 ModelScope 1. 进入 ModelScope(https://www.modelscope.cn/home),右上角点击完成新用户的注册;2. 注册完成后,登录 ModelScope,进入首页,请确定已经绑定阿里云账号,并已获得免费的配套云计算资源。启动 CPU 服务器:3. 启动成功后,点击“查看” 二、环境配置 1. 点击 Terminal 图标,打开终端命令行环境

openlab_96bf3613 1月前
892 0 0

OpenVINO™ 助力 Qwen 2 —— 开启大语言模型新时代

就在刚刚,阿里魔搭社区发布了全新的 Qwen 2 系列模型 ,作为 Qwen 及魔搭社区的重要合作伙伴,OpenVINO™ 一直致力于赋能开发者高效搭建人工智能解决方案,助力大规模语言模型的性能提升和应用扩展。接下来,由小编来为大家介绍本次 Qwen 2 的发布亮点并全面讲解 OpenVINO™ 对于 Qwen 2 的强力支持。Qwen 2 全新发布,OpenVINO™ 强力支持,赋能开发者高效

openlab_96bf3613 1月前
972 0 0

在英特尔® 酷睿™ Ultra7处理器上优化和部署Phi-3-min模型

作者 英特尔边缘计算创新大使 王一凡1.1 Phi-3-mini模型简介2024年4月23日,微软研究院公布Phi-3系列AI大模型,包含三个版本:mini(3.8B参数)、**all(7B参数)以及medium(14B参数)。phi-3-mini是一个拥有3.8B参数规模的模型,其训练数据集基于Phi-2所使用数据集的扩大版本,由大量过滤后的网络数据和合成数据组成,经过3.3T tokens的训

openlab_96bf3613 1月前
920 0 0

在英特尔®酷睿™Ultra处理器上优化和部署YOLOv8模型

作者:广州神州数码信息科技有限公司 周日升英特尔®酷睿™Ultra处理器是英特尔公司推出的一个高端处理器品牌,其第一代产品基于Meteor Lake架构,使用Intel 4制程,单颗芯片封装了 CPU、GPU(Intel® Arc™ Graphics)和 NPU(Intel® AI Boost),具有卓越的AI性能。本文将详细介绍使用OpenVINO™工具套件在英特尔®酷睿™Ultra处理器上实现

openlab_96bf3613 1月前
880 0 0

社区贡献者分享 | OpenVINO™ 代码贡献助力我的开源之路

作者:占俊坚 摘要 在 OpenVINO™ 2024.1 release 版本中,我为 OpenVINO™ 添加了 TensorFlow 中的 Rint operation 以及 PyTorch 中的 aten::bucketize operation 的支持,在此分享我的实现过程,给有兴趣参与 OpenVINO™ 开源项目的同学参考,希望大家都能积极参与到社区建设当中来! OpenVINO™ 代

openlab_96bf3613 1月前
816 0 0