ZedBoard用UbuntuにOpenCV2.4.6.1をインストールしたので書いてお く

XillinuxはUbuntuなので、OpenCVをインストール出来るのでは？ということ でインストールしてみた。

色々なマシンでOpenCVで顔検出サンプルをやってみた。
顔検出はOpenCVの samples/c の facedetect を起動してレナ像の顔検出を行ってみた。

Parallella-16ボードの Ubuntu に OpenCV 2.4.6.1をインストールしていたら、SDカードが容量不足でビルドができなかった。

Parallella-16のSDカード・ドライブを初期化して、8GBから16GBに拡張し た。

OpenCV 2.4.6.1がうまく実行できないので、OpenCV 2.4.9 をインストールしたが、やはりうまく実行できない。

”ZYBOのLinaro Ubuntu のXウインドウの表示をパソコンで行う（Xmingを使用）”で、OpenCVの画像出力をパソコンのウィンドウとして表示することが出来たので、例によってレナ像を使用 してOpenCVで顔検出をやってみた。

もう一度、Ubuntu 12.11 を戻して、もう一度、、Ubuntu 14.04 LTS にアップグレードしてみることにした。
Ubuntu 14.04 LTSでOpenCVの顔検出が動作した。

OpenCV の facedetect アプリケーションは、顔を検出することが出来る。
顔を判定するためには顔の定義ファイルが必要で、--cascade の後に定義ファイル名を指定する。現在は、/usr/local/share/OpenCV/haarcascades ディレクトリの haarcascade_frontalface_alt.xml ファイルを使用している。
定義ファイルは、/usr/local/share/OpenCV/haarcascades ディレクトリに下に示すようにたくさんあるので、これを確かめてみた。

”ZYBOのUbuntu上でカメラ画像をBMPファイルに変換できた”でカメラ画像をBMP ファイルに変換できたので、そのBMPファイルを gimp でJPEGファイルに変換して、OpenCV で顔認証を試みた。成功した。

Ubuntu14.04LTSには、 OpenCV-2.4.6.1 はインストールできなかった。そこで、 OpenCV-2.4.10をインストールした。

OpenCV の C , C++ のプログラムをコンパイルするためのコンパイル・スクリプトを作った。

エッジ検出(Sobel,Laplacian,Canny) フィルタを試した。

コーナー検出(EigenValue,Harris,FAST)、画像の二値化、画像のカラー ヒストグラムの描画、k-meansクラスタリングによる画像分割,減色、モルフォロジー変換を試した。

ハフ変換による直線検出 cvHoughLines2、ハフ変換による円検出 cvHoughCircles、輪郭の検出と描画 cvFindContours、画像のアフィン変換(1) cvGetAffineTransform + cvWarpAffine、平滑化 cvSmoothを試した。

Interface誌2013年7月号のOpenCVのサンプルプログラムはとってもよく出来 ていると思うので、やってみたいと思う。
「基本処理その3…ヒストグラムによる輝度調整」の demhist.cpp を g++_opencv でコンパイルして、実行してみた。

カメラで撮影した画像をBMPファイルに変換してから、そのBMPファイルをOpenCVで顔 認証するソフトウェアを作った。

MT9D111カメラモジュールで撮影した画像をBMPファイルに落として、そのBMPファイ ルを OpenCV 2.4.10 の facedetect.cpp を使って顔認証を行うソフトウェアを作ったので、顔認証を実際にやってみた。

ZYBOのDigilent Linux KernelにARMhfの Debian Wheezy 7.5 の Root File Systemsを入れて動作した。
今回は、それに、OpenCV 2.4.10 を入れてみた。

ZYBOのARMhfのUbuntu 14.04 LTS にも、OpenCV 2.4.10をインストールした。

”ステレオカメラによる距離測定テスト14（ステレオカメラ・キャリブレーション方法の参考に なるWebサイト）”でやると言っていた opencv-2.4.10/samples/cpp の stereo_calib.cpp をやってみることにした。これは、ステレオカメラのキャリブレーション用ソフトウェアだ。

前回は、stereo_calib.cpp を使って、左目カメラ画像と右目カメラ画像のキャリブレーションを行い、2つのキャリブレーション・ファイルを出力した。今回は、stereo_match.cpp を使用して、2つのキャリブレーション・ファイルを入力して、左目カメラ画像と右目カメラ画像を補正してみた。

stereo_match.cpp をやってみて、面白かったので、もう少しやってみた。

いろいろと失敗してきた”OpenCV 2.4.10 の stereo_calib.cpp を自分のカメラ画像でやってみた”ですが、ついにうまく行った。

勝因は、チェスボードに黒枠をつけたのと、チェスボードが大きめに画面に写っていたほうが良い みたいだ。

前回で、”OpenCV 2.4.10 の stereo_calib.cpp を自分のカメラ画像でやってみた”が上手く行った。でも、これは、右目カメラ画像と左目カメラ画像をBMPファイル変換して、そのBMPファイルに対して stereo_match を起動して、disparity を計測した。これだとBMPファイルにする手間があるので、右目カメラ画像と左目カメラ画像をバッファしているフレームバッファから直接、画像を取得して、 stereo_match するようにソフトウェアを書き換えた。これを stereo_match_cam.cpp とした。

前回までは、Sobel フィルタの動作について試してみたが、今回は、その次の”FAST Corners Detection”を試してみる。

前回は、C シミュレーションまで行った。今回は、C コードの合成とIP化を行った。

”Vivado HLS 2015.4 で OpenCV を使ってみた8（FAST Corners Detection 2）”のFASTXコーナー検出IPを使って、カメラ表示システムを作ることにした。

一昨日、Vivado 2016.1 が出たので、FASTX コーナー検出IP をVivado HLS 2016.1 で再度やってみることにした。

Sobel フィルタをVivado 2016.1 でやってみた。

”Vivado HLS 2016.1 で OpenCV の Sobel フィルタを試してみた”で作った X軸方向 Sobel フィルタの IP をカメラ表示システムに入れて、Sobel フィルタ出力が表示されるかどうか？を調べてみた。これが表示されれば、 hls::AXIvideo2Mat() や hls::Mat2AXIvideo() の動作は正しく、FASTX が問題なのでは？という可能性が高まる。

”Accelerating OpenCV Applications with Zynq-7000 All Programmable SoC using Vivado HLS Video Libraries, XAPP1167 (v3.0) June 24, 2015”の 10 ページを見ると、FASTX のレイテンシが最大 7 lines で、Dilate レイテンシが最大 3 lines なので、10 ライン分のFIFO バッファを入れる必要があったようだ。今回の実装では、カメラの画像が 800 ピクセル / line なので、800 ピクセル X 10 lines = 8000 以上のFIFO バッファが必要になるようだ。これを忘れていたので、実装しよう。なお、FIFO バッファ数は8000 以上の 2 の n 乗の数を選定した。8196 で　2 の 13 乗だ。

前回は、hls::Duplicate() で複製された img_1_ の data_stream に hls：：FASTX() と hls::Dilate() の最大レイテンシの 7 行と 3 行を足した 10 行分より多い 2 の 13 乗の 8196 個の FIFO バッファを付けるように STREAM ディレクティブを指定した。

今回は、前回作製した FASTX コーナー検出IP を使用して、Vivado 2016.1 で論理合成、インプリメントを行って、SDKでZYBO にコンフィグレーションしアプリケーションを起動して、 FASTX コーナー検出できるかどうかを確かめた。

前回までで、出来上がったFASTX コーナー検出だが、Xilinx Wiki の HLS FASTX の threshold は 20 に固定したままだ。そこで、threshold を変更できるようにしてみた。

前回は、threshold をソフトウェアで変更可能にして、いろいろなthreshold の値でC シミュレーションを行った。今回はC コードの合成、IPへのパッケージを行う。

前回は、Vivado HLS 2016.1 でC コードの合成とIP へのパッケージを行った。今回は、その threshold を変更できるFASTX コーナー検出IP をカメラ表示システムに組み込んで、ZYBO にダウンロードしてやってみた。

”Vivado HLS を使用した車の白線検出9（Canny フィルタ3）”で、大体Vivado HLS による C シミュレーションでは白線検出が出来てきたと思うので、本命のZYBO のOpenCV 環境でまずはソフトウェアで、どのくらいの速度で白線検出をできるかどうかをテストしてみた。

前回は、equalizeHist() を使用し、Canny フィルタを掛けて、HoughLine 変換で道路の白線検出を行った。しかし、画像を読み込む時点で白黒画像に変換していた。ハードウェアでは、カメラで撮影した画像を白黒変換して、Canny フィルタを掛ける予定なので、白黒画像変換の部分の経過時間も測る必要がある。それでC++ ソースコードを修正した。更に、白黒画像変換＋Canny フィルタの経過時間を測定した。

今回は前回のコードはそのままに、10行目の”#define HIST”をコメントアウトして、equalizeHist() を使用しないで、Canny フィルタのみで白線検出を行うことにする。なお、Canny フィルタのスレッショルドは、試行錯誤して、最適化したつもりだ。

この記事は”OpenCV Advent Calendar 2016”の23日目の記事として書きます。

白線追従用の画像を処理するためにUbuntu 16.04 にOpenCV 3.1.0 をインストールすることにした。
なお、”Ubuntu 16.04にOpenCV 3.1をインストールする手順”を参考にさせていただいた。

前回は、Ubuntu 16.04 にOpenCV 3.1.0 をインストールしようとしたのだが、make でエラーになってしまった。どうやらCUDA 8.0 が悪さしているようだというのがわかった。dandelion さんからOpenCV 3.2 だったら大丈夫と教えていただいたので、OpenCV 3.2 以降をインストールすることにした。

Ubuntu 16.04 上のVivado HLS 2017.2 でOpenCV を使用したプロジェクトで libjpeg.so.62 と libtiff.so.3 が無いと言われてコンパイルできなかったので、解決方法を書いておく。なお、VirtualBox 上のUbuntu 16.04 上のVivado HLS 2016.4 でも同様だった。

”@ikwzmさんの”FPGA+SoC+Linux+Device Tree Overlay+FPGA Region(SDSoC対応編)”をやってみる1”で作りなおしたZYBO-Z7-20のDebianにOpenCV3.1.0をインストールした。

Ultra96 のDebian にOpenCV 3.4.3 をインストールしてみたいということでやってみた。

前回は、Ultra96 にOpenCV 3.4.3 をインストールして、demo.py が起動したが、cv.namedWindow('edge') でエラーになった。今回は、その続きをやってみよう。

前回は、demo.py からいろいろなOpenCV のサンプルを起動できるようになった。今回は、環境を整備して ffmpeg とかも入れてみようと思う。

Ultra96 のDebian にインストールしたOpenCV-3.4.3 のC++ サンプルデザインをコンパイルしてみた。

ikwzm さんの”Ultra96/Ultra96-V2 向け Debian GNU/Linux で XRT(Xilinx Runtime) を動かす(Vitis編)”で実装されている Ultra96-V2 用の Ubuntu 18.04 LTS に、fclkcfg や udmabuf をインストールしてある。
この Ubuntu 18.04 LTS に OpenCV 3.4.3 をインストールして環境を構築しよう。

Vitis Vision ライブラリを Vitis HLS 2020.2 でやってみようと思う。そのための準備として Vitis Vision Library User Guide には OpenCV をインストールするように書いてある。しかも、OpenCV 3.4 が良いようだ。

そこで、”Ubuntu18.04: OpenCV3.4.9 (CUDA10.2)のインストール”を参考にさせていただいて、OpenCV 3.4.9 を Ubuntu 18.04 LTS にインストールしようと思う。

Vitis Vision Library の examples では、OpenCV Mat 形式の .data を ap_uint<***> * でキャストして、ハードウェア化する関数に渡していた。そのフォーマットを検証してみよう。

ZYBO Z7-20 の PYNQ 2.7 に OpenCV 3.4.16 をインストールしてみよう。
make を行ったが、まる 1 日経っても 80 % から進んでいない。。。これはどれだけ日にちを掛けてもダメなようだ。

ZYBO Z7-20 の PYNQ 2.7 に OpenCV 3.4.16 をインストールしてみようということで、前回は、make の 80 % まで make できたがそれ以上は難しいようだった。今回は、cmake のオプションを変更して、ビルドの負荷を軽くして make して見たところ成功した。