作者：英特尔院士 OpenVINO™ 产品架构师 Yury Gorbachev；翻译：英特尔 AI 软件布道师 武卓 随着我们迎来崭新的一年，是时候在生成式人工智能领域大放异彩地开启2024年了。我们在这里发布最新、最伟大的推理工具，这将使您在新的一年中的编码之旅变得异常精彩。OpenVINO™ 的最新版本引入了额外的框架更改，优化了生成式AI模型的特性，并增强了对现有平台的支持。让我们来了解
openlab_96bf3613
1月前
作者：周兆靖 , 英特尔高级应用工程师 Contents1.本文目的 2.优化推理响应的策略 优化策略一：使用模型缓存减少模型编译时间 优化策略二：在PERFORMANCE_HINT中选择Latency模式 优化策略三：优先选择CPU硬件进行推理 优化策略四：GPU推理时应用AUTO Plugin 优化策略五：权衡是否使用NNCF量化的低精度模型 优化策略六：将ONNX模型转换为IR模型进行推理
openlab_96bf3613
1月前
作者：英特尔边缘计算创新大使 黄明明 简介 《OpenVINO™ Java API 详解与演示》发布后，很多读者询问如何从零开始搭建在Windows平台上搭建OpenVINO™ Java开发环境？本文将从零开始详细介绍环境搭建的完整步骤，环境搭建完毕后，再使用Java语言来对OpenVINO™ Java API 环境进行简单测试，并验证其可行性。 安装Java运行环境 Java是一门面向对象的编程
openlab_96bf3613
1月前
作者：英特尔边缘计算创新大使 颜国进前言英特尔公司发行的模型部署工具OpenVINO™模型部署套件，可以实现在不同系统环境下运行，且发布的OpenVINO™ 2023最新版目前已经支持MacOS系统并同时支持在苹果M系列芯片上部署模型。在该项目中，我们将向大家展示如何在MacOS系统、M2芯片的Macbook Air电脑上，展示使用OpenVINO™ C++ API 部署深度学习模型。1.1 O
openlab_4276841a
2月前
三步完成在英特尔独立显卡上量化和部署ChatGLM3-6B模型
作者: 英特尔边缘计算创新大使 刘力；1.1 ChatGLM3-6B简介ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在填写问卷进行登记后亦允许免费商业使用。引用自：https://github.com/THUDM/ChatGLM3请使用命令，将ChatGLM3-6B模型下载到本地(例如，保存
openlab_4276841a
2月前
