在LabVIEW中调用OpenVINO™ 模型 | 开发者实战
openlab_4276841a
更新于 2年前
1.1 什么是LabVIEW？
LabVIEW测试测量与自动化行业常用，图形化开发环境，其优点有：
1 图形化开发环境，学习容易入门快
2 自带机器视觉函数库，并提供OpenCV接口库，开发机器视觉与自动化应用程序速度快
使用LabVIEW调用OpenVINO IR模型，可以快速完成深度学习项目开发与交付。
LabVIEW详细介绍参考：
https://www.ni.com/zhcn/shop/labview.html
1.2 准备开发环境
要完成在LabVIEW中调用OpenVINO™ 模型，需要安装：
1 LabVIEW、Vision Development Module和NIVision OpenCV Utilitie***r/>
2 Visual Studio 2019 Community；
3 OpenVINO 2021.4.2 LTS
1.2.1 安装LabVIEW
LabVIEW请从下列网址下载安装文件，通过NI Package Manager完成安****r/>
https://www.ni.com/zh-cn/support/downloads/software-products/download.labview.html#411431
需要注意的是：选择LabVIEW 64位版本，并同时安装Vision Development模块，安装完毕后至少保证如图1-1所示的打钩模块都已安****r/>
“以管理员身份运行”JKI VI Package Manager，搜索并安装NIVision OpenCV Utilities，如图1-2所示。
从C:\Program Files\National Instruments\LabVIEW 2021\examples\Vision\NIVision OpenCV Utilities文件夹中打开任意一个范例程序，若成功运行，证明安装成功，如图1-3所示。
1.2.1 安装Visual Studio 2019 Community和OpenVINO™ 工具套件
从https://visualstudio.microsoft.com/zh-hans/downloads/中下载并安装Visual Studio 2019 Community。
从https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/overview.html 中下载并安装OpenVINO™ 工具套件
1.3 准备OpenVINO IR模型
请参考本文的姊妹篇《PPYOLOv2模型从训练到OpenVINO部署-上篇》完成PPYOLOv2模型的部署，《PPYOLOv2模型从训练到OpenVINO部署-下篇》完成将PPYOLOv2飞桨模型转换为OpenVINO IR模型。
读者可以从https://github.com/dlod-openvino/ppyolov2_openvino_samples中下载已转换好的OpenVINO IR模型
1.4 编写OpenVINO API 的LabVIEW Wrapper
1.4.1 定义存储Inference Engine的结构体
定义存储Inference Engine的结构体如代码清单1-1所示，方便创建和删除。
代码清单1-1 Inference Engine结构体
//定义结构体，存储与Inference Engine相关的变量
typedef struct lv_infer_engine {
Core ie; //ie对象
ExecutableNetwork exec_net;
InferRequest infer_request;
} InferEngineStruct; 1.4.2 创建ppyolov2_init函数
创建ppyolov2_init函数,主要是创建指向InferEngine的指针，并反回给LabVIEW。
代码清单1-2 ppyolov2_init函数
// 创建指向InferEngine的指针，并反馈给LabVIEW
EXTERN_C NI_EXPORT void* ppyolov2_init(char* model_xml_file, char* device_name, NIErrorHandle errorHandle) {
InferEngineStruct* p = new InferEngineStruct();
p->exec_net = p->ie.LoadNetwork(model_xml_file, device_name);
p->infer_request = p->exec_net.CreateInferRequest();
return (void*)p;
} 1.4.3 创建ppyolov2_predict函数
创建ppyolov2_predict函数，用于执行ppyolov2模型预测功能。
代码清单1-3 ppyolov2函数
EXTERN_C void NI_EXPORT ppyolov2_predict(NIImageHandle sourceHandle, void* pInferEngine, char* bbox_name, char* bbox_num_name, float* detections, NIErrorHandle errorHandle) {
NIERROR error = NI_ERR_SUCCESS;
ReturnOnPreviousError(errorHandle);
try {
NIImage source(sourceHandle);
Mat sourceMat;
InferEngineStruct* p = (InferEngineStruct*)pInferEngine;
//从NIImage对象中浅拷贝图像数据到
Mat对象
ThrowNIError(source.ImageToMat(sourceMat));
auto type = source.type;
Blob::Ptr image_blob = p->infer_request.GetBlob("image");
auto input_H = image_blob->getTensorDesc().getDims()[2];
auto input_W = image_blob->getTensorDesc().getDims()[3];
// 交换RB通道
cv::Mat blob;
cv::cvtColor(sourceMat, blob, cv::COLOR_BGRA2RGB);
// 放缩图片到(input_H,input_W)
cv::resize(blob, blob, cv::Size(input_H, input_W), 0, 0, cv::INTER_LINEAR);
// 图像数据归一化，减均值mean，除以方差std
// PaddleDetection模型使用imagenet数据集的 Mean = [0.485, 0.456, 0.406]和 std = [0.229, 0.224, 0.225]
vector mean_values{ 0.485 * 255, 0.456 * 255, 0.406 * 255 };
vector std_values{ 0.229 * 255, 0.224 * 255, 0.225 * 255 };
vector rgbChannels(3);
split(blob, rgbChannels);
for (auto i = 0; i < rgbChannels.size(); i++)
{
rgbChannels[i].convertTo(rgbChannels[i], CV_32FC1, 1.0 / std_values[i], (0.0 - mean_values[i]) / std_values[i]);
}
merge(rgbChannel****lob);
fillBlobImage(image_blob, blob);
const float scale_h = float(input_H) / float(sourceMat.rows);
const float scale_w = float(input_W) / float(sourceMat.cols);
const pair scale_factor(scale_h, scale_w);
auto scale_factor_blob = p->infer_request.GetBlob("scale_factor");
fillBlobImInfo(scale_factor_blob, scale_factor);
const pair im_shape(input_H, input_W);
auto im_shape_blob = p->infer_request.GetBlob("im_shape");
fillBlobImInfo(im_shape_blob, im_shape);
p->infer_request.Infer();
const float* infer_results = p->infer_request.GetBlob(bbox_name)->buffer().as<precisiontrait::value_type*>();
const int* bbox_nums = p->infer_request.GetBlob(bbox_num_name)->buffer().as<precisiontrait::value_type*>();
auto bbox_num = bbox_nums[0];
for (int i = 0; i < bbox_num; i++) {
detections[i * 6 + 0] = infer_results[i * 6 + 0];
detections[i * 6 + 1] = infer_results[i * 6 + 1];
detections[i * 6 + 2] = infer_results[i * 6 + 2];
detections[i * 6 + 3] = infer_results[i * 6 + 3];
detections[i * 6 + 4] = infer_results[i * 6 + 4];
detections[i * 6 + 5] = infer_results[i * 6 + 5];
}
}
catch (NIERROR _err) {
error = _err;
}
catch (...) {
error = NI_ERR_OCV_USER;
}
ProcessNIError(error, errorHandle);
} 1.4.4 创建ppyolov2_delete函数
创建ppyolov2_delete函数，用于释放ppyolov2_init创建的内存。
代码清单1-4 ppyolov2_delete函数
EXTERN_C void NI_EXPORT ppyolov2_delete(void* pInferEngine, NIErrorHandle errorHandle) {
NIERROR error = NI_ERR_SUCCESS;
ReturnOnPreviousError(errorHandle);
InferEngineStruct* p = (InferEngineStruct*)pInferEngine;
delete p;
}
1.4.5 LabVIEW 中调用三个函数
在Visual Studio中将三个函数编译为dll，并在LabVIEW中调用，参考范例lv_opencv_demo.vi，运行结果如下所示。
以上代码可以从代码仓中下载：
https://github.com/dlod-openvino/ppyolov2_openvino_sample***r/>
本文转自【英特尔物联网】
0个评论