背景和概述OPEA 开源平台汇集了众多生成式 AI 应用示例。对这些应用进行性能评估与分析是众多企业用户和开发者的共同需求。因此，建立一套标准的评估体系对于 OPEA 的开发者和用户而言至关重要。这不仅能够便捷地复现 OPEA 应用在不同平台上的性能表现，还能为软硬件优化提供可靠的数据分析依据。 本文将以 OPEA 中基于 RAG 技术的 ChatQnA 应用为例，介绍 OPEA 性能分析的方**
openlab_96bf3613
5月前
用 OpenVINO™ GenAI 解锁 LoRA 微调模型推理：高效定制你的大语言模型
武卓 大语言模型（LLM）彻底改变了人类文本生成的方式，使其在聊天机器人、虚拟助手和内容生成等场景中变得不可或缺。然而，要将这些庞大的模型微调用于特定任务，通常需要大量的计算资源和训练时间。但如果你可以在不重新训练整个模型的情况下，高效地完成微调，会怎样？这正是 LoRA（低秩适配，Low-Rank Adaptation）大显身手的地方。 LoRA 通过引入一组小型可训练矩阵，为大模型提供了一种轻
openlab_96bf3613
5月前
性能激增、画面丝滑、响应迅捷——这一切都可通过XeSS 2技术的软件优化与AI加速实现！ 自2022年英特尔锐炫™A系列显卡携XeSS技术问世以来，基于AI超分辨率提升（super resolution upscaling）技术（XeSS-SR）的加持，已有超过200款游戏获得性能跃升。技术发布后，英特尔迅速将其扩展至搭载英特尔锐炫™ GPU的英特尔®酷睿™Ultra处理器，为全球数百万台式机与移
openlab_96bf3613
5月前
OpenVINO2025 C#支持开源的支持项目来自颜国进老师贡献，已经被OpenVINO官方收录，项目网址： https://gitee.com/linbei_cht/OpenVINO-CSharp-API 安装非常容易，只要在VS2022里面点击一下即可安装。最新版本已经是OpenVINO2025支持。 YOLO11实例分割YOLO11是YOLOv5跟YOLOv8作者推出最新升级版本模型，支持
openlab_96bf3613
5月前
让哪吒用上DeepSeek，让OpenVINO加速边缘计算--完整版
作者：金立彦 4月17日，OpenVINO™ 2025.1版正式发布了。我们尝个鲜，利用OpenVINO在英特尔哪吒开发套件上部署deepseek-r1-distill-Qwen-7b模型。 一、在边缘终端部署本地大模型的好处 边缘终端，如树莓派和英特尔哪吒开发套件，通常具有较低的功耗和成本，同时具备一定的计算能力。在这些设备上部署 DeepSeek-R1 大模型，可以带来以下好处： 1.
openlab_96bf3613
5月前
