如何利用OpenVINO在本地运行Qwen2.5-VL系列模型

杨亦诚 Ekaterina Aidova 介绍 近期阿里通义实验室在 Hugging Face 和 ModelScope 上开源了 Qwen2.5-VL 的 Base 和 Instruct 模型,包含 3B、7B 和 72B 在内的 3 个模型尺寸。其中,Qwen2.5-VL-7B-Instruct 在多个任务中超越了 GPT-4o-mini,而 Qwen2.5-VL-3B 作为端侧 AI 的

openlab_96bf3613 22天前
756 0 0

AI PC 新玩法:OpenVINO™ GenAI+LoRA 助你轻松实现个性化图像的高效生成

武卓 借助生成式 AI 模型(如 Stable Diffusion 和 FLUX.1),用户可以将平平无奇的文本提示词转换为令人惊艳的视觉效果。但如果你想生成更具风格化或定制化的图像,开源的基础模型可能无法满足你的所有需求。这时,LoRA(低秩适应)就派上用场了。许多风格修改和增强功能现以 LoRA 的形式发布,作为基础模型的模块化附加组件。通过添加LoRA适配器,使得大家可以随心所欲、生成风格多

openlab_96bf3613 22天前
420 0 0

大模型+小模型,实现AI智能监管

转发自研扬科技 AI_GUARD AI_GUARD是一个基于Intel x86 CPU + Intel Arc GPU(A370M)硬件平台,实现大模型(Qwen)+小模型+私域数据库融合的在线AI监管系统平台。该平台以YOLO算法为核心,实现了在不同需求场景下,识别异常并记录的功能,同时可结合大语言模型进行综合管理,提供问询等便利服务。在本文中,我们将使用OpenVINO™ 2024.4.0部署

openlab_96bf3613 22天前
412 0 0

哪吒大闹DeepSeek之开发板部署大模型实战

今年春节什么最火?一定是哪吒2和Deepseek,但凡是个中国人,都在春节期间被安利了“看哪吒,用DeepSeek”,下至六龄儿童,上至六旬老翁,都知道。 今天,我就告诉你怎么把DeepSeek塞到哪吒里! 一、本地部署 DeepSeek 的必要性 随着人工智能技术的快速发展,企业对 AI 模型的部署方式有了更多选择。本地部署 DeepSeek-R1 模型具有以下显著优势,使其成为许多企业和开发者

openlab_96bf3613 22天前
416 0 0

英特尔显卡+魔搭社区,一行命令快速部署本地大模型

00 前言 近期,Intel和魔搭合作,在魔搭社区上线了Ollama 英特尔优化版镜像,该镜像提供基于 IPEX-LLM 的 Ollama 英特尔优化版,开发者可在英特尔GPU (如搭载集成显卡的个人电脑,Arc 独立显卡等) 上直接免安装运行 Ollama。 DeepSeek-R1作为开源领域的重磅模型,以其卓越的推理能⼒在各类任务中脱颖⽽出,吸引了⼴泛关注。本文将⼿把⼿教您如何在纯CPU环境下

openlab_96bf3613 22天前
428 0 0