原创 贾志刚 英特尔物联网

场景文字检测与识别模型

OpenVINO2021.4支持场景文字检测是基于MobileNetV2的PixelLink模型，模型有两个分别是text-detection-0003与text-detection-0004。以text-detection-0003模型为例它有两个输出，分别是分割输出与bounding Boxes输出，结构如下：

下面是基于VGG16作为backbone实现的PixelLink的模型，模型结构如下：


最终得到输出text/notext的mask区域，对mask区域简单处理之后就会得到每个场景文字区域的ROI。关于后处理，再后续的会有详细代码演示。OpenVINO2021.4不仅支持场景文字的检测还支持场景文字的识别，支持场景文字识别的模型是基于VGG16+双向LSTM，识别0~9与26个字符加空白，并且非大小写敏感！文本识别网络结构如下：

模型输入与输出格式

图-1中的PixelLink场景文字检测模型的输入与输出格式如下：
输入格式：1x3x768x1280 BGR彩色图像
输出格式：
name: "model/link_logits_/add", [1x16x192x320] – pixelLink的输出
name: "model/segm_logits/add", [1x2x192x320] – 像素分类text/no text

图-3文本识别模型的输入与输出格式如下：
输入格式：1x1x32x120
输出格式：30, 1, 37
输出解释是基于CTC贪心解析方式。
其中37字符集长度，字符集为：
0123456789abcdefghijklmnopqrstuvwxyz#
#表示空白。

同步与异步推理

在OpenVINO的IE推理模块相关SDK支持同步与异步推理模型，同步的意思是阻塞直到返回结果， 异步就是调用推理之后直接返回，接受到处理完成通知之后再解析输出，相比同步方式，异步推理更加适合视频流多路推理的方式。异步推理的执行方式大致如下：
// start the async infer request (puts the request to the queue and immediately return****r>async_infer_request->StartAsync();
// here you can continue execution on the host until results of the current request are really needed
//...
async_infer_request.Wait(IInferRequest::WaitMode::RESULT_READY);

auto output = async_infer_request.GetBlob(output_name);

场景文字检测代码演示

OpenVINO2021.4中场景文字检测的，以text-detection-0003为例。加载模型文件与获取推理请求等与之前的保持一致，无需再说，这里主要是PixelLink模型的输出解析部分，它的解析部分代码如下：

cv::Mat mask = cv::Mat::zeros(cv::Size(out_w, out_h), CV_8U);
int step = out_h*out_w;
for (int row = 0; row < out_h; row++) {
for (int col = 0; col < out_w; col++) {
float p1 = detection_out[row*out_w + col];
float p2 = detection_out[step + row*out_w + col]; // text
if (p2>1.0) {
mask.at<uchar>(row, col) = 255;
}
}
}
cv::resize(mask, mask, cv::Size(im_w, im_h));
std::vector<std::vector<cv::Point>> contour****r>cv::findContour***ask, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);

对输出的Mask数据，完成text与非text的分类，得到二值图象，然后对二值图象完成轮廓发现，根据轮廓发现的的结果输出最大/最小外接矩形，得到每个Text区域的检测结果，最终模型的运行结果如下：

其中Mask部分的中间输出为：

场景文字识别代码演示

场景文字识别是基于场景文字检测模型输出得到的TEXT区域作为输入，基于灰度图象预测输出，使用text-recognition-0012模型。关于模型加载、输入与输出设置同样不再赘述，检测得到TEXT的ROI作为输入，推理与预测文字及显示的代码如下：

auto reco_output = reco_request.GetBlob(reco_output_name);

const float* blob_out = static_cast<PrecisionTrait<Precision::FP32>::value_type*>(reco_output->buffer());

const SizeVector reco_dims = reco_output->getTensorDesc().getDim******r>
const int RW = reco_dims[0];

const int RB = reco_dims[1];

const int RL = reco_dims[2];



std::string ocr_txt = ctc_decode(blob_out, RW, RL);

std::cout << ocr_txt << std::endl;

cv::putText(src, ocr_txt, box.tl(), cv::FONT_HERSHEY_PLAIN, 1.0, cv::Scalar(255, 0, 0), 1);

其中RWxRBxRL=30x1x37,CTC解析的函数ctc_decode实现代码如下：

std::string ctc_decode(const float* blob_out, int seq_w, int seq_l) {

printf("seq width: %d, seq length: %d \n", seq_w, seq_l);

std::string re*********r>
bool prev_pad = false;

const int num_classes = alphabet.length();

int seq_len = seq_w*seq_l;

for (int i = 0; i < seq_w; i++) {

int argmax = 0;

int max_prob = blob_out[i*seq_l];

for (int j = 0; j <num_classes; j++) {

if (blob_out[i*seq_l + j] > max_prob) {

max_prob = blob_out[i*seq_l + j];

argmax = j;

}

}

auto symbol = alphabet[argmax];

if (symbol == '#') {

prev_pad = true;

}

else {

if (res.empty() || prev_pad || (!res.empty() && symbol != re***ack())) {

prev_pad = false;

res += symbol;

}

}

}

return re****r>
}

解析过程就是对得到二维矩阵30x37，按行先做argmax，然后再去掉重复，最终得到预测生成的text文本返回。代码运行结果如下：

总结

本文主要讲述了OpenVINO2021.4版本中场景文字检测与识别模型的推理使用，以及同步与异步推理的的基本概念。特别值得注意的是场景文字识别模型是基于灰度图象不是RGB彩色图象，如果搞错这点就会得到错误的文本预测结果。