Bài toán nhận diện biển số xe là một bài toán không còn mới. Ứng dụng nhận diện biển số xe được sử dụng rộng rãi trong các bãi giữ xe cấp phát vé tự động, các trạm thu phí trên đường cao tốc hoặc là các hệ thống theo dõi phương tiện tham gia giao thông và phát hiện các phương tiện vi phạm. Hiện nay có rất nhiều các phương pháp khác nhau được đưa ra để giải quyết bài toán này, các bạn có thể tham khảo một phương pháp được đề cập trong một bài viết khá tâm huyết của tác giả Bùi Quang Mạnh ở đây.

Tuy nhiên với mỗi phương pháp đều có ưu nhược điểm riêng, ở bài viết này mình sẽ giới thiệu với các bạn một kỹ thuật khá hay được áp dụng để giải quyết bài toán này. Các bạn hãy cùng mình tìm hiểu nhé .

Hình 1: Các bước xử lý của bài toán

Nhiệm vụ của bài toán này là với một ảnh đầu vào cần trích xuất được toạ độ của vùng biển số xe trong ảnh và cắt ra được vùng biển số đó. Vì vậy đó là một bài toán object detection, có rất nhiều các phương pháp có thể giải quyết được vấn đề này như dùng các đặc trưng hand crafted, hoặc sử dụng các kỹ thuật liên quan đếp deep learning như các mạng object detection: YOLO, SSD, Faster RCNN...

Hình 2: Kết quả của bài toán xác định vùng chứa biển số xe

Vấn đề của các phương pháp object detection được áp dụng vào bài toán phát hiện biển số xe là nó chỉ đưa về kết quả là một vùng chứa biển số xe (vùng này có thể bao gồm cả biển số xe và phần chi tiết của thân xe) . Những trường hợp trả về cả biển số là những trường hợp biển số được chụp thẳng chính diện với camera ví dụ như ở các bãi gửi xe tự động thì camera sẽ được lắp sao cho camera sẽ hướng thẳng đến vùng có biển số. Tuy nhiên trong một số trường hợp không phải lúc nào biển số xe cũng được chụp ở hướng chính diện. Ví dụ trong trường hợp một chú cảnh sát giao thông với một thiết bị máy quay di động ( hoặc smartphone) dẫn đến góc nhìn tới biển số bị nghiêng gây ảnh hưởng đến việc trích xuất thông tin biển số ở các bước sau.

Các bạn có thể nhìn hình 3 dưới đây, có thể nhìn thấy ngay là với trường hợp hướng nhìn chính diện (hình trái) thì vùng biển số phát hiện được hầu như không có chi tiết của thân xe, với trường hợp hướng nhìn hơi nghiêng một chút (hình phải) thì vùng biển số đã có rất nhiều các chi tiết thừa ở thân xe.

Hình 3: Kết quả detect dùng YOLO trên ảnh với hướng nhìn chính diện và hướng nghiêng khi chụp biển số xe

WPOD - Wraped Planer Object Detection Network. Mạng được thiết kế dựa trên ý tưởng của YOLO, SSD và STN (Spatial Tranformer Network). Trong khi các mạng YOLO và SSD chỉ trả về một hình chữ nhật bao quanh biển số xe mà không quan tâm đến không gian xung quanh biển số xe là như thế nào thì WPOD có thể trả về một vùng tứ giác bao quanh biển số xe và đưa biển số về hướng nhìn chính diện.

Hình 4: Kết quả dectect khi sử dụng WPOD cho trường hợp biển số xe bị nghiêng

Hình 5: Hoạt động của mạng WPOD

Hình bên trên thể hiện cách thức hoạt động của mạng WPOD. Ta có thể thấy từ 1 ảnh đầu vào thông qua quá trình lan truyền tiến qua mạng ta thu được output features map gồm 8 channels trong đó 2 channels đầu tiên là xác suất có/không có biển số xe và 6 channels còn lại là những thông số để tính toán ma trận transform (là ma trận được sử dụng để chuyển đổi góc nhìn của biển số xe).

Để trích xuất ra được vùng biển số xe thì nhóm tác giả đã xét một hình vuông với kích thước cố định (phần hình vuông viền trắng trên hình) xung quanh từng cell trên output features map. Nếu xác suất có đối tượng của cell đó lớn hơn ngưỡng quy định thì những giá trị của 6 channels còn lại của cell đó sẽ được sử dụng để tính toán ma trận tranform từ vùng hình vuông về vùng biển số xe (đa giác viền đỏ trên hình). Và ta cũng sẽ sử dụng ma trận này để đưa biển số xe về hướng nhìn chính diện.

Ta sẽ đi vào tìm hiểu về kiến trúc mạng của nó nhé

Hình 6: Kiến trúc mạng WPOD

Như đã đề cập ở trên thì output features map sẽ bao gồm 8 channels trong đó 2 channels đầu là xác suất có/không có đối tượng, 6 channels sau chứa các giá trị để tạo ra ma trận affine transform. Và để tạo ra được output features map như vậy thì khối Detection có 2 luồng riêng biệt, luồng thứ nhất dành cho việc tính toán xác suất có/không có đối tượng (2 channels đầu tiên của output features map) với luồng này thì sử dụng activations là softmax, luồng thứ 2 phục vụ cho việc tính toán các thông số để tạo ra ma trận transform với luồng này ta không sử dụng hàm kích hoạt hay nói cách khác hàm kích hoạt cho luồng này là hàm $\mathbf{f(x) = x}$. Kết quả của 2 luồng nay sau đó sẽ được gộp với nhau để đưa ra output.

$T_{mn}(\mathbf{q})=\begin{bmatrix} max(v_3, 0) & \mathbf{v_4}\\ \mathbf{v_5} & max(v_6, 0) \end{bmatrix}{\mathbf{q}} + \begin{bmatrix} \mathbf{v_7}\\ \mathbf{v_8} \end{bmatrix}$

$A_{mn}(\mathbf{p}) =\frac{1}{\alpha} ({\frac{1}{N_s}{\mathbf{p}} - \begin{bmatrix}n \\ m \end{bmatrix}})$

$f_{affine} =\sum_{i=1}^{4} {\begin{Vmatrix} {T_{mn}(\mathbf{q_i}}) - A_{mn}(\mathbf{p_i}) \end{Vmatrix}}_1$

$f_{probs}(m, n)=logloss(\mathbb{I}_{obj}, v_1)+logloss(1-\mathbb{I}_{obj}, v_2)$

$loss =\sum_{m=1}^{M}{\sum_{n=1}^{N}}{[\mathbb{I}_{obj}*f_{affine}(m, n) + f_{probs}(m, n)]}$

Hình 7: Một số hình ảnh trong tập dữ liệu