昨日、ZYBOが届いた。ZYBO は Zynq の Z-7010が搭載されたボードだ。

ZYBO はDigilent社の新しい Zynq-7010 のボードだ。Digilent社のZYBOのWebサイトには、リファレンス・デザインもまだ載っていないが、LEDをテストするテストプロジェクトを作ってみようと思 う。プロジェクトとしては、ZedBoard用に作ってあって、Zynq勉強会の1番目の AXI Lite Slave カスタムIPを作る課題用のプロジェクトとして使用している。それをZYBO用に変更してみようと思う。ZedBoardはLEDを8ビット分持っていたが、ZYBOは4 ビット分のLEDしか無いので、そこを変更する。

自作の AXI4 Lite Master BFM を使用してシミュレーションを行った。

今回は、XPSプロジェクトを完成させて、Project Navigator でインプリメントを行った。

実機テストを行って成功した。実機テストのやり方を詳しく書いた。

ISEでZYBO用LEDテストプロジェクトを作製した。今度はVivado 2013.4でZYBO用LEDテストプロジェクトを作ってみようと思う。最初にled4_axi_lite_slave の単体テストから行う。

やっと、Vivado 2013.4でZYBO用LEDテストプロジェクトが動いたので、ブログに書くことにする。ビットストリームの生成まで成功した。

前回、Vivado 2013.4のプロジェクトを作製するところから、ビットストリームの生成まで行った。今回は、ハードウェアをエクスポートして、SDKを立ちあげ実機テストを行った。
実機テストのやり方を詳しく書いた。

ZYBOにAXI4 Slaveバス対応のキャラクタ・ディスプレイ・コントローラを付けて、HDMI端子とVGA端子から出力を出してみようという企画だ。単体シミュレーションを行っ た。

前回、ZYBOのAXI4 Slave キャラクタ・ディスプレイ・コントローラ IPの単体シミュレーションが終了したので、今度は、実際にIPを実装してZYBO実機で確かめた。SVGA解像度では完成した。

前回はSVGAでHDMIポート、VGAポートとも表示に成功した。今回は、VGAとXGA、 SXGA解像度で表示できるかどうかを確かめてみた。
結果として、VGA解像度では、HDMIポート、VGAポート両方共表示することが出来たが、XGA、SXGA解像度では、VGAポートは問題なく表示するこ とが出来たが、HDMIポートは表示はできているのだが、動作が不安定だった。表示はされているが、ぱっと消える時がある。これは周期的に消える。
いろいろとできることをやってみたが、うまく行かなかった。

Digilent社のSpartan-6 ボード、Atlysボード用のHDMIをサポートするDigilent社製のVHDLコードを自分で修正して、ZYBOで、キャラクタ・ディスプレイ・コントローラの出力 をHDMIとVGAに出力していた。しかし、BUFGのみを使用したHDMI出力では、VGAとSVGA しか出力することが出来なかった。（”ZYBOのAXI4 Slave キャラクタ・ディスプレイ・コントローラ IP３（SVGA以外の解像度）”参照）それを、BUFIO と BUFR に対応させることにした。

インプリメントを行ったところ、やはり同様にエラーが出てしまった。PLLをMMCMに変更す ることにした。

PLLの代わりにMMCMを使用した。インプリメントとビットストリームの生成が成功した。こ れでOKのようだ。

ZYBOで実機で試してみたところ、”ZYBOのAXI4 Slave キャラクタ・ディスプレイ・コントローラ IP３（SVGA以外の解像度）”と同様に、XGAやSXGA解像度で試すと、画像が消えてしまうことがある。ぱっと消えて、また表示されるを繰り返している。前回同様に SVGA解像度では問題ない。
いろいろとやってみたが、原因がわからない？

ZYBO用にVGAポート出力のみのキャラクタ・ディスプレイ・コントローラ IPを作っている。Githubで公開した。

以前のZYBOのキャラクタ・ディスプレイ・コントローラ IPは、”AXI4 Slave キャラクタ・ディスプレイ・コントローラ IP２（完成）”で完成したが、SVGA解像度のみで、VGAポートとHDMIポートに出力することができた。但し、HDMIは出力周波数が高いために、XGA解像度以上 だとBUFGが対応せずに動作が不安定だった。そこで、HDMIポートを削除して、XPSプロジェクトのAdd IPダイアログで、VGA, SVGA, XGA, SXGA, HD解像度を切り替えられるように変更した。だ。
単体シミュレーションが成功した。

ISE14.7でプロジェクトを作製し、その中にXPSプロジェクトを作製する。更に、VGA ポート専用のZYBO用キャラクタ・ディスプレイ・コントローラ IPをAdd IPして、キャラクタ・ディスプレイ・コントローラを作製した。SVGAの表示に成功した。

今回は残りのVGA, XGA, SXGA, HD解像度でキャラクタをディスプレイに表示した。

今まで作ってきた、VGAポート専用のZYBO用キャラクタ・ディスプレイ・コントローラのプ ロジェクトをGitHubで公開しました。

ZYBO用のLEDテスト・プロジェクトを作ってGithub にアップロードしておきました。その使い方と注意点を書いておくことにします。

DigilentのZYBOサイトから ZYBO Base System Design をダウンロードして、とりあえずはISE14.7 でやってみた。
HD画面を表示することができた。驚きだ。

今回は、ZYBO Base System Design の Vivado 版をやってみることにした。本来は、Vivado 2013.4のプロジェクトなのだ、がVivado 2014.1に変換してやってみた。IPはアップグレードした。

Ryuzのブログさんの”ZYBO(Zynq)のLinux(Xillinux起動)”の記事 を見ると、ZYBOでXillinuxが簡単に起動できたということなので、やってみることにした。

XillinuxはUbuntuなので、OpenCVをインストール出来るのでは？ということ でインストールしてみた。

”ZYBOにOpenCV 2.4.6.1をインストール”でZybo のXillinux にOpenCV 2.4.6.1 をインストールしたのですが、これは、root でやっていました。どうも root でコマンドを実行しているとあまり気持ちよく無いので、zybo というユーザーを作ることにしました。パスワードは同じく zybo です。

”ZYBO用キャラクタ・ディスプレイ・コントローラ IPの単体テスト（VGAポート専用）”のVivado 2014.1版を作ろうと思う。Vivado 2014.1 のチュートリアルをかねようとしているので、丁寧に図をキャプチャして書くつもりだ。

前回はプロジェクトを作るところまでだったが、今回はFIFOを生成する。

今回は、OVL(Open Verification Library)を使用した単体シミュレーションを行う。

単体シミュレーションが終了したZYBOのAXI4 Slave キャラクタ・ディスプレイ・コントローラをIPにする。

”VivadoでZYBOのAXI4 Slave キャラクタ・ディスプレイ・コントローラ IP4（IP化）”で、ZYBOのAXI4 Slave キャラクタ・ディスプレイ・コントローラの IP化が終了したので、今回はZYBOのAXI4 Slave キャラクタ・ディスプレイ・コントローラの回路全体を作製する。
Vivado 2014.1を使用して、IPにした ZYBOのAXI4 Slave キャラクタ・ディスプレイ・コントローラをインスタンスして、動作する様に、他のIPもインスタンスし、回路全体を構成する。

なお、Vivado 2014.1のチュートリアルとしても使用できるように、１つ１つの手順を図入りで紹介する。

ブロック・デザインの生成でエラーがでているので、デバックをしていた。日曜日の１日中いろい ろなことを試したが、やっとわかってきたと思うので、ブログに書いておく。
因みに、プロジェクト名を短くしないとWinodwsのパス名260文字問題に引っかかってしまうので、プロジェクトを作りなおした。
うまく行った。

前回、ブロック・デザインが終了して、ラッパー Verilog HDLファイルを作製した。今回は、論理合成し、出力端子の出力レベルと配置を制約した。

インプリメントを行い、成功した。

実機テストは成功した。

ZYBOにビットマップ・ディスプレイ・コントローラを追加しようと思う。ZedBoard用 のビットマップ・ディスプレイ・コントローラがすでにあるので、移植するということになる。

ZYBO用のビットマップ・ディスプレイ・コントローラIPを作ることにした。
ZedBoard用のビットマップ・ディスプレイ・コントローラ（BMDC)は作ってあるので、それを改造することにした。ZedBoard用のBMDCは、 アナデバのHDMI出力用IC ADV7511 がHDMIを出力しているので、それ用のフォーマットに変換して出力していたが、ZYBOはZynqから直接HDMI信号を出力する。

前回、プロジェクトを生成して、FIFOも生成した。今回は、テストベンチを作製してシミュ レーションを行う。

前回は、シミュレーションを始めることができたので、今回はビットマップ・ディスプレイ・コン トローラの動作を確認した。

前回、単体シミュレーションを行ったので、今回は、ZYBO用ビットマップ・ディスプレイ・コ ントローラのIP化を行った。

”ZYBO用ビットマップ・ディスプレイ・コントローラIP４（IP化）”で、ZYBO用ビッ トマップ・ディスプレイ・コントローラのIP化が完成した。
次は、ZYBO用ビットマップ・ディスプレイ・コントローラIPを使用して、ZYBOのビットマップ・ディスプレイ・コントローラを作製する。まずは、IP Integrator を使用して、ブロック・デザインを作製する。

IP Integrator のブロック・デザインを引き続き作っている。

前回で、ブロック・デザインは出来上がったので、今回は、論理合成と制約の追加を行った。

配置制約、タイミング制約を生成して、インプリメントを行った。

BUFRからBUFGを通す方法でXGAまではうまく動作した。

ZYBOでカメラ表示をしようということで、カメラ表示回路を作ることにした。
恒例のシングル・バッファのフレーム・バッファを使用したカメラ表示回路を作製することにする。
カメラはMT9D111 を使用し、そのインターフェース・ボードとして、ZedBoard 用のカメラ・インターフェース・ボードを使用する。

、カメラ・インターフェースIPを作成する、と言うか、ZedBoard用がそのまま使えるは ずなので、それをコピーしてVivado 2014.2 のIPとして作製する。但し、pixel_fifo はVivado で作り直す。

ZYBO用カメラ・インターフェースIPを IP化した。IP化の過程を書いた。

”ZYBO用カメラ・インターフェースIPの作製２（IP化）”で出来上がった ZYBO用カメラ・インターフェースIP と”ZYBO用ビットマップ・ディスプレイ・コントローラIP４（IP化）”を使用して、カメラ表示回路のブロッ ク・デザインを作製した。

前回で、ブロック・デザインが出来上がったので、今回は、HDLのラッパー・ファイルを生成し て、インプリメントを行った。

Vivado 2014.2 を使用してZYBO用カメラ表示回路を作成している。前回はインプリメントまで終了したので、Vivado でハードウェアをエクスポートしてSDKを立ちあげ、実機で動作を試みた。
画面は真っ暗で動作しなかった。

前回、出来上がったZYBO用カメラ表示回路を動作させたら、画面が真っ暗だったので、デバッ クを行った。
カメラ・インターフェースの AXI4 Write トランザクションを拡大してみた。BRESPが 3 （Decode Error）になっている。これはおかしい。

ビットマップ・ディスプレイ・コントローラのAXI4 Read トランザクションとカメラ・インターフェースのAXI4 Write トランザクションがどちらもDecode Error（RRESP, BRESPが 3）となってしまった。この原因を追求した。
原因が分かって、バグを修正し、画像を表示できた。

ZYBO用のLinuxをビルドしようと思う。Digilent社のZYBOのWebページに 置いてあるPDFファイルの”Embedded Linux® Hands-on Tutorial for the ZYBO™”をやってみようと思っている。一旦、チュートリアルをやってから、好みの設定にしてみようと思っている。
ZYBO Base System DesignをVivado 2014.2 で開いたので、IPのアップグレードを行った。

myLed IPコアを作り始めた。

myLed IPコアが完成した。

myLed IPコアをブロック・デザインにインスタンスして、デザインを完成させた。インプリメントを行い、成功した。

前回までで、PL部のハードウェアを構築した。今回は、U-Bootをビルドした。

”Embedded Linux® Hands-on Tutorial for the ZYBO™”の”3 Generate BOOT.BIN”をやってみた。Boot.bin を作製できた。

Digilent Linuxカーネルをビルドした。uImage が作成された。

DTSをDTCでコンパイルしてDTBを作った。
RAMDISKを用意した。
Digilent Linuxを起動した。

前回で、ZYBO で Linux が立ち上がった。今回は、横道にそれて、Frame Buffer (FB) を使って、HDMI や VGA に画像を表示できないかやってみた。
FBのアドレスを知ろうして、FBのアドレスをprintk() で表示しようとしたが表示できなかった。

myLedのドライバを生成して、デバイス・ツリーに追加し、コマンドでLEDを点灯させた。

前回、ドライバを作ったので、今回は、ユーザー・アプリケーションを作って、実行した。

”ZYBO用のEmbedded Linux チュートリアル”をやったのだが、SDカードの第2パーティションにUbuntuのroot file system を書いて、ブート後に使用するようにしたいと思ってやっていたのだが成功しなかった。

”ZYBO用のEmbedded Linux（root file system をSDカードの第2パーティションへ）”で、いろいろとエラーは出ているが、SDカードの第2パーティションをRoot File System としてマウント出来たようだ。

Twitter で ikwzm さんに教えてもらった。u-boot のデフォルト環境変数ファイル nEnv.txt をSDカードの第1パーティションにいれた。

”ZYBO用Linaro Ubuntuが立ちあがる状態でのu-boot環境変数とLinuxブートメッセージ”の修正版です。
uEnv.txt が間違っていので、修正しました。ブートメッセージの違いがよく分かるので、前のバグあり版も残しておきます。

ZYBO用のEmbedded Linux をブートするSDカードの作り方を書いておきます。（重要）

Linnaro Ubuntu のバージョンを 12.11 から 14.04 LTS にアップグレードした。この時は失敗しましたが、後で成功しました。

”ZYBO用のEmbedded Linux をブートするSDカードの作り方”で出来上がったZYBO用 Linaro Ubuntu で、ビットマップ・ディスプレイ・コントローラをハードウェアで実装して、Ubuntu からキャラクタを表示してみることにした。
ビットマップ・ディスプレイ・コントローラ IP が出来上がったので、シミュレーションをしてみた。

前回は、AXI4 Lite Slave ポート付きビットマップ・ディスプレイ・コントローラ IP を作製して、シミュレーションを行った。今回はIP化を行った。

”AXI4 Lite Slave ポート付きビットマップ・ディスプレイ・コントローラ IP の IP化”でビットマップ・ディスプレイ・コントローラ (BMDC) IP のフレーム・バッファのスタート・アドレスを AXI4 Lite Slave バス経由で設定できるように変更した。この BMDC IP を ZYBO用の Linaro Ubuntu のPL部に搭載しようと思う。
論理合成まで終了した。

前回、ブロック・デザインが完成し、論理合成まで終了したので、今回は制約ファイルを作製し、 インプリメントを行った。

SDKで Linux用ソフトウェアを作製する際に必要な設定をするために、DTSを変更する。
UIO (Userspace I/O) を使用するためにLinux のコンフィギュレーションをチェックして、デバイス・ツリーにUIOを追加する。
BOOT.bin を生成した。

前回は、、”How to Design and Access a Memory-Mapped Device in Programmable Logic from Linaro Ubuntu Linux on Xilinx Zynq on the ZedBoard, Without Writing a Device Driver — Part Two”だ。参考にする本はコミケ本で、石原ひでみさんの”Hybrid SoC Design Vol 1.0”を参考にしながら、UIO (Userspace I/O) の設定を行った。画像を表示するFrame Buffer （FB) のアドレスの設定もUIOでできないか？と考えたので、今回は引き続き追加で FB 領域をUIOに設定して見たいと思う。

UIOをCプログラムを書いて実際に使用する。具体的に何をやるかというと、ZYBOの4つの LEDを点灯させる。

UIOに実装した、ビットマップ・ディスプレイ・コントローラの設定レジスタ、キャラクタ・ ジェネレータROM、ビットマップ・ディスプレイ・コントローラのフレーム・バッファ・メモリ全部をテストするCソフトウェアを作製した。

UIOのテストを続けてきて、動作の確認ができたので、いよいよ本番のビットマップ・ディスプ レイ・コントローラに意味のある文字を表示させて見るテストをする。前々から使ってきたビットマップ・ディスプレイ・コントローラにキャラクタ・ジェネレータ ROMのキャラクタ・データを表示するテストを行うことにした。

ZYBOのLinuxカーネルに確実にCMA (Continuous Memory Allocator) 領域を確保して、そこにビットマップ・ディスプレイ・コントローラのベースアドレスを置くことにする。Kernel Configuration でのCMA 領域の確保方法

16MBのCMA領域を確保できたので、もう一度、”ZYBO用の Linaro Ubuntu のPL部にビットマップ・ディスプレイ・コントローラを搭載する７（ZYBOで動作確認）”の./draw_disp_uio コマンドを実行してみることにした。
キャラクタを画面に表示することができた。

”ZYBO用の Linaro Ubuntu のPL部にビットマップ・ディスプレイ・コントローラを搭載する８（ZYBOで動作確認２）”のZYBO用の Linaro Ubuntu にOpenCV 2.4.6.1 をインストールした。

ZYBOのLinaro Ubuntu のIPアドレスの取得方法は DHCP で毎回 Tera Termで SSH ログインするときのアドレスが異なる。これを何とかしようとIPアドレスを固定することにした。ZedBoardのIPアドレスが 192.168.3.130 にしてあったので、ZYBO は 192.168.3.131 にすることにした。

”ZYBOのLinaro Ubuntu のIPアドレスを固定する”でZYBOのLinaro Ubuntu のIPアドレスを固定することができた。これで、SSHで入りやすくなったので、今度は、ZYBOのLinaro Ubuntu のXウインドウをパソコンで表示してみた。

”ZYBOのLinaro Ubuntu のXウインドウの表示をパソコンで行う（Xmingを使用）”で、OpenCVの画像出力をパソコンのウィンドウとして表示することが出来たので、例によってレナ像を使用 してOpenCVで顔検出をやってみた。

ZYBO用の Linaro Ubuntu のバージョンを 12.11 から14.04 LTS にアップグレードしようとして挫折してしまいましたが、もう一度、Ubuntu 14.04 にアップグレードしようということでやってみました。
なんとか、Ubuntu 14.04 にアップグレードできたようです。

もう一度、Ubuntu 12.11 を戻して、もう一度、、Ubuntu 14.04 LTS にアップグレードしてみることにした。
Ubuntu 14.04 LTSでOpenCVの顔検出が動作した。

ドライバなどを作らないといけないという状況は重々承知の上で、CMA領域の先頭番地から使っ ていても、とりあえずは問題ないので、より問題の少ないと思われる真ん中くらいのアドレスを使って、カメラ・コントローラを実装してカメラ画像を Linaro Ubuntu の動作する ZYBO で表示してみたい。

以前に作ってあったカメラ・コントローラIPを１フレームの画像をキャプチャして止めて置ける ように改造して、シミュレーションを行った。
シミュレーションを行った。最初は、カメラのピクセル値をDDR3 SDRAMへWrite するためのAXI4 Write Transction だ。

出来上がったカメラ・コントローラIPのIP化を行った。

前回はカメラ・コントローラIPが出来たので、それとビットマップ・ディスプレイ・コントロー ラIPを組み込んだブロック・デザインを作製した。

前回で、ブロック・デザインが完成したので、今回は論理合成と制約の追加、インプリメントを 行った。

前回、カメラ表示システムのインプリメントまで終了した。今回は、BOOT.BINを生成し た。

前回、BOOT.BIN を生成したので、今回は、devicetree.dtb を生成した。

今回は、devicetree.dtb と BOOT.bin を SDカードに書いて、ZYBOに挿入して確かめてみた。
ディスプレイへ画像出力はされているが、画面は真っ暗だった。

Vivado logic Analyzer (Hardware manager) を使用 してデバックを行った。
少なくとも、mt9d111_inf_axi_master_0 のAXI4 Lite Slave 番地 0x43C10000 番地に 0x18000000 を書いているので、カメラのデータをDDR3 SDRAMに書いても良さそうなので、もう一度シミュレーションを確かめてみる。

前回は、カメラの画像が表示されないので、ZYBOのLinux（Ubuntu) 環境からベアメタル・アプリケーションに変更してデバックを行った。原因は解明できて、ベアメタル・アプリケーションでは動作した。
修正した mt9d111_axi_lite_slave.v と mt9d111_cam_cont.v を貼っておく。

ZYBO用のUbuntu14.04 LTS で確認した所、動作してカメラの画像をディスプ レイに表示することができた。
cam_capture.c を作って、画像のキャプチャを行った。と言うか、frame_valid を止めただけなのだが。。。これも成功。。。

カメラ画像をUIO領域にDMAし、それをキャプチャ画像として停止することができたので、カ メラ画像をBMPファイルに変換するソフトウェア disp2bmp.c を書いた。disp2bmp.c と bmpheader.h を貼った。

”ZYBOのUbuntu上でカメラ画像をBMPファイルに変換できた”でカメラ画像をBMPファイルに変換できたので、そのBMPファイルを gimp でJPEGファイルに変換して、OpenCV で顔認証を試みた。成功した。

ZYBO用Ubuntu14.04LTS の時計がずれて、困っている。いろいろとトライしてみた。

時計のズレはDTS (Deviece Tree Source) の設定が原因だった。設定を変更したら時計のズレが修正できた。

ZYBO用のUbuntu Linux 上でカメラ画像を取得することができたので、そのカメラ画像にラプラシアンフィルタをソフトウェアでかけた。

Ubuntu14.04LTSには、 OpenCV-2.4.6.1 はインストールできなかった。そこで、 OpenCV-2.4.10をインストールした。

OpenCV の C , C++ のプログラムをコンパイルするためのコンパイル・スクリプトを作った。

昨日、ひでみさんに注文しておいたZynq本2冊とMicroSDカードが届いた。

ツィッターでなひたふさんが STREAM というツールでZYNQ Linuxのメモリ帯域幅を測っていたので、私もZYBO でやってみた。

ZYBOのUbuntu ブート用のMicroSDカードに不具合が生じてバックアップからコピーする手順の覚書です。

”ZYBO用のEmbedded Linux チュートリアル７（Linuxカーネルのビルド)”までで作ったZYBO用のDigilent Linux Kernel にARMｈｆで見つけたUbuntu Trusty 14.04 LTS とDebian Wheezy 7.5のRoot File Systems を入れてみようと思った。
この時は失敗したと思っていたが、後で動作していることが確認できた。

今回、もう一度、 Debian Wheezy 7.5 のRoot File Systems を MicroSDカードの2nd パーティションに入れて、1st パーティションは、Digilent Linux Kernel, BOOT.bin, devicetree.dtb を入れた。
ブートしてみると、シリアルポート接続のTrea Termは、sshd でやはり止まったが、SSHから入って使用できることが分かった。

今回、もう一度、 Ubuntu Trusty 14.04 LTS のRoot File Systems を MicroSDカードの2nd パーティションにコピーして、1st パーティションは、Digilent Linux Kernel, BOOT.bin, devicetree.dtb をコピーした。動作させた所、Ubuntu14.04LTSもSSHからログインできることが分かった。

ZYBOのDigilent Linux KernelにARMhfの Debian Wheezy 7.5 の Root File Systemsを入れて動作した。
今回は、それに、OpenCV 2.4.10 を入れてみた。

ZYBOのARMhfのUbuntu 14.04 LTS にも、OpenCV 2.4.10をインストールした。

”Vivado HLS 2014.1でラプラシアン・フィルタ関数をaxi masterモジュールにする１”で使用しているラプラシアンフィルタのCソースを使ってIP化してみた。
Vivado HLS 2014.4では、2014.1まで使っていたAXIバス用のディレクティブが変更になった。

前回はC Synthesis アイコンで高位合成を行った。今回は、Export RTL アイコンで IP 化を行った。

”Vivado HLS 2014.4でラプラシアン・フィルタ関数をaxi masterモジュールにする2”で、以前からやっているラプラシアンフィルタを Vivado HLS 2014.4 でIP化できた。途中、AXI4バスを生成するディレクティブが変更になっていて戸惑ったが、IP化することができたので、”ZYBO用の Linaro Ubuntu のPL部にカメラ・コントローラを搭載する１１（Linuxで確認）”でできたZYBOでカメラ画像を表示するVivado プロジェクトを Vivado 2014.4 にアップデートして、今回作製したVivado HLS 2014.4 のラプラシアンフィルタIPを追加することにした。

Vivado HLSで作製したラプラシアンフィルタIPを V_ZYBO_CAMDfLブロックデザイン上にインスタンスして論理合成、インプリメントを行った。

Vivado HLSで作製したラプラシアンフィルタIPを V_ZYBO_CAMDfLブロックデザイン上にインスタンスして論理合成、インプリメントを行った。今回は、SDKを立ちあげてBOOT.binを作製した。

前回、Vivado HLS 2014.4 で作製したラプラシアンフィルタIPが入ったBOOT.bin とそのUIOの項目を追加したで devicetree.dtb を作製した。今回は、その BOOT.bin と devicetree.dtb を MicroSDカードの第1パーティション ZYBO_BOOT に入れて、ZYBOに挿入して電源をONし、起動するかどうか？を確かめてみた。

2015年（平成27年）2月16日（月）と2月17日（火）で、Vivado and ZYBO Linux勉強会を開催しました。

Vivado and ZYBO Linux勉強会の必要なソースファイルを貼っておきます。

今回はパソコンのSDKからSSHでリモートデバックしてみようと思う。これは確か、前にやっ てみた時にデバック時にエラーが出たのだが、今回もう一度確かめてみようと思う。
やはり、エラーでSDKデバックできなかった。

ZYBO のLinux 上でVivado HLSで生成された制御ソフト（Cドライバー・ソフトウェア）をコンパイルして動作させることにした。

前回、Vivado HLS 2014.4 で作製したラプラシアンフィルタIPのAXI4 Lite Slave ポートにアクセスしたが、バスエラーになってしまった。今回はその原因を探った。
画像が表示されたが、28秒かかってしまった。原因はVivado HLSのラプラシアンフィルタのCソースコードが間違っていたことだった。訂正記事へのリンクあり。

Vivado HLS 2014.1 でラプラシアンフィルタIPを作って、Vivado 2014.4 のプロジェクトを新規作成し、ブロック・デザインを構築していく過程で、ラプラシアンフィルタ IP のAXI4 Master バスは、カメラ・コントローラー IPとビットマップ・ディスプレイ・コントローラー IP のAXI4 Master が入っている AXI Interconnect に入っている。これをラプラシアンフィルタ IP 独自の AXI Interconnect にして、Zynq PS の AXI HP2 ポートに入れたらどうだろう？と考えた。
AXI4のバス帯域を考察してみた。

Vivado HLS 2014.1 のプロジェクトを作製して、以前のVivado HLS 用のラプラシアンフィルタのCソースコードをプロジェクトに入れた。そして、高位合成して、IP化を行った。
バグフィックス版へのリンクあり

今回は、Vivado HLS 2014.1 で作製したラプラシアンフィルタ IP を ZYBO のVivado 2014.4 にプロジェクトのブロック・デザインの中に入れて論理合成、インプリメント、ビットストリームの生成後、BOOT.binの作製を行った。

今回は、BOOT.binをMicro SDカードにコピーして、ZYBOに挿入して電源ONを行った。
制御用ソフトウェアを起動したら、ラプラシアンフィルタ処理のDONE待ち関数から1秒間帰ってこなかった。

前回、Vivado HLS 2014.1 で作製したラプラシアンフィルタ IP が動作しなかったので、シミュレーションを行う。シミュレーションをしたのはZedBoardの時で、AXI4 Slave を持った汎用メモリモデル IP の mem_sim_axi_slave と設定レジスタを設定する AXI Lite Master IP の reg_set_axi_lite_master を使用する。

設定レジスタを設定する AXI Lite Master IP の reg_set_axi_lite_master を作製した。

”Vivado HLS 2014.1で生成したラプラシアンフィルタIPをシミュレーション1”で作った mem_sim_axi_slave IP のコードを少し修正することにした。

次に、Vivado HLS 2014.1 で作製したラプラシアンフィルタIP のシミュレーションをする予定なのだが、ラプラシアンフィルタIP のレジスタを設定する reg_set_axi_lite_master IP とメモリIP の mem_sim_axi_slave だけでは、メモリの値を書き換えるIP が存在しない。現在では、mem_sim_axi_slave の memory_8bit.v の中でメモリの初期値はオール 0 にクリアされているので、ラプラシアンフィルタIP でカメラデータを Read するために DMA しても、ラプラシアンフィルタ処理後のデータを Write するために DMA しても全て 0 のみとなる。これでは寂しいので、せめて、メモリの初期値を変更できるように、memory_8bit.v のメモリの初期値を変更できるようにした。

”Vivado HLS 2014.1で生成したラプラシアンフィルタIPをシミュレーション3”の mem_sim_axi_slave プロジェクトで IP を再IP化した。

これで必要なIPが揃ったので、Vivado 2014.1 で作製したラプラシアンフィルタIP をシミュレーションするためのVivado 2014.4 のプロジェクトを作製した。

”Vivado HLS 2014.1で生成したラプラシアンフィルタIPをシミュレーション5（シミュレーション用プロジェクトの作製）”でシミュレーション用のプロジェクトが完成したので、シ ミュレーションを行った。
しかし、”Vivado HLS 2014.1で生成したラプラシアンフィルタIPをシミュレーション2（reg_set_axi_lite_master IP の作製）”で、Vivado のIPとしたreg_set_axi_lite_master.v のrom 配列にラプラシアンフィルタIP を初期化して、ラプラシアンフィルタ処理をスタートする処理を書き込むことが出来ない。これは、”AXI VDMAのレジスタ設定用AXI Lite Master IPの作製２（シミュレーション）”に詳しく書かれているが、rom という2次元配列に initial 文で $readmemh("vdma_reg_set.txt", rom, 0, 255);　を使用して、vdma_reg_set.txt に書いたアドレスとデータを読み込むようになっている。
今回は、vdma_reg_set.txt では、名前が良くないので、reg_set.txt に変更してある。
reg_set.txt をシミュレーションの時の work フォルダに置けば読まれるはずなのだが、プロジェクト内の何処においても読まれない。とっても困ってしまった。
解決方法としては、絶対パスのフルパスを書くことだった。

前回はシミュレーション用プロジェクトを作成できたので、シミュレーションを行った。
Vivado HLS 2014.1 で高位合成したラプラシアンフィルタIPに設定することはできて、lap_fil_hls_sim_i -> lap_filter_axim_0 -> inst -> lap_filter_axim_LiteS_if_U の I_ap_start は 1 になったのだが、その後の cam_fb のAXIバスのReadが始まらない。

”Vivado HLS 2014.1で生成したラプラシアンフィルタIPをシミュレーション6（シミュレーション）”で Vivado HLS 2014.1 で新たに作製したラプラシアンフィルタIP が動作しなったので、今度は、Vivado HLS 2014.4 で作製したラプラシアンフィルタIP をシミュレーションすることにした。
”Vivado HLS 2014.1で生成したラプラシアンフィルタIPをシミュレーション5（シミュレーション用プロジェクトの作製）”と同様にVivado 2014.4 のプロジェクトを作製し、シミュレーションを行った。

前回、Vivado HLS 2014.4 でせいせいしたラプラシアンフィルタIP をVivado 2014.4 で、メモリIP やレジスタ値設定用IP などを追加して、ブロック・デザインを生成してシミュレーションを行った。
今回は、シミュレーションをもっと長く行って、ラプラシアンフィルタIP の実行時間が約27秒も掛かる原因を追求した。

おるさんのおかげで、1ヶ月半くらいの間、悩んできた Vivado HLS 2014.4 で生成したラプラシアンフィルタIP の原因が分かりました。おるさんありがとうございました。
それは、古いバグありのラプラシアンフィルタのCソースコードを使用してしまったからです。正しいCソースコードはあったのですが、Vivado HLS プロジェクトの外に出してあって、バージョンの違うVivado HLS プロジェクトで使えるようになっていました。古いバグありCソースコードがプロジェクト内に残っていたので勘違いしてしまいました。反省しております。。。

新しいラプラシアンフィルタIP のCソースコードを貼っておきます。シミュレーションも行った。

ラプラシアンフィルタIP のバグもフィックスできたので、もう一度、”Vivado HLS 2014.4でラプラシアン・フィルタ関数をaxi masterモジュールにする4（ブロックデザインにVivado HLSのIPを追加、インプリメント）”のラプラシアンフィルタ IP をバグ無しのものにすげ替えて、ラプラシアンフィルタのIPを更新し、もう一度、論理合成、インプリメント、ビットストリームの生成を行い、実機で確かめたところ問題なく 動作した。処理時間は約 95.4 ms だった。

１次元の俺様フィルタを元にラプラシアンフィルタを作製する。
tu1978 さんのサンプルをほとんどコピーしながらも、自分なりのAXI4-Stream版ラプラシアンフィルタのC++ ソースコードを作製した。

前回は、AXI4-Stream 版のラプラシアンフィルタIP のC++ ソースコードを公開した。但し、シミュレーションを速くするために、HORIZONTAL_PIXEL_WIDTH = 50、VERTICAL_PIXEL_WIDTH = 10 とした。今回は、そのC++シミュレーションと高位合成を行った。

RTLシミュレーションを行って、ハードウェアでの動作を確認した。その際に、RTLのトレー スファイルを出力させて、Vivado でシミュレーション波形の表示を行った。

前回は、クロック周期を 10 ns つまり 100 MHz で高位合成を行った。今回は、動作周波数の限界に挑戦してみようと思う。

前回は、動作周波数を 100 MHz から 150 MHz にすることで、性能が 1.49 倍に向上した。今回は、シミュレーション用に少ないピクセルの行列でやっていたのを 800 x 600 ピクセルに戻して、高位合成、IP 化を行った。

”AXI4-Stream版ラプラシアンフィルタIPのカメラ表示システム1（構想編）”のブ ロック図のカメラ－AXI4-Stream出力IPを作製する。
Vivado 2015.1 でZYBOに搭載されているZynq の xc7z010clg400-1 のプロジェクトを作製し、pixel_fifoを生成した。

前回は論理合成用とシミュレーション用のソースを作り、Vivado 2015.1 のプロジェクトを作製した。今回は、論理シミュレーションを行った。

今回は、前回の論理シミュレーションで問題なかった論理合成用のHDLソースコードを貼ってお く。

今回は、カメラ－AXI4-Stream出力IPのシミュレーション用 Verilog HDL のソースコードを貼っておく。

カメラ－AXI4-Stream出力IPのプロジェクトをIP化していなかったので、IP化を 行った。
Vivado 2015.1 でIP化したことがないので、丁寧に説明していく。

AXI4-Stream Switcher IP の製作を行う。
AXI4-Stream Switcher IP は、”AXI4-Stream版ラプラシアンフィルタIPのカメラ表示システム1（構想編）”のブロック図に示してあるが、ラプラシアンフィルタを通した画像データの AXI4-Steram とカメラの画像データのAXI4-Steram を切り替える。

前回、貼ったC++のソースコードを使用して、今回は、Cシミュレーションと高位合成を行っ た。

前回は、Cシミュレーションと高位合成を行った。今回は、C/RTLコシミュレーションをし て、その波形をVivado 2015.1で観察し、IP化を行った。

FPGAの部屋のブログで書いてきた Vivado HLS で作製したAXI4-Stream版ラプラシアンフィルタ IP を使用したカメラ表示システムを作製しようと思う。
ブロック図を示した。

必要なIPが全て揃ったので、Vivado 2015.1で V_ZYBO_CAMDS_151 を作製して、AXI4-Stream版ラプラシアンフィルタ IP を使用したカメラ表示システムを作っていくことにした。

前回は、必要なIPをIP Catalog に登録した。今回は、V_ZYBO_CAMDS というブロックデザインを作っていく。

前回はブロックデザインの途中までだったので、今回はブロックデザインを完成させた。

前回はブロックデザインを完成させたのだが、ブロックデザインの名前が間違っていたので、 V_ZYBO_CAMDS を新規作成して、ブロックデザインをコピーした。
制約ファイルを作り、インプリメントを行った。

前回はインプリメントして、ビットストリームの生成まで終了したので、今回はハードウェアをエ クスポートして、SDKを立ちあげプロジェクトを生成する。

前回は、SDKで、cam_disp プロジェクトとcam_disp_bsp プロジェクトを作製した。今回は、ソフトウェアを作製して実機動作テストを行ったが、表示結果がおかしかった。

実機動作でうまく動作しなかったので、Vivado Analyzer を使ってデバックを行った。まだ原因はわからない。

AXI VDMAのドライバを使って書いてみたが、実際にどのようにレジスタを設定しているか？を見ていく。Vivado Logic Analyzer でAXI VDMAの設定用のAXI4 Lite Slave バスを観察して、どのレジスタを設定しているのかを見ていこう。
これでバグの原因が分かった。

”AXI VDMAのドライバによるレジスタの設定値”で画像のフレームバッファのアドレスが 0 番地になっていたのを 0x10000000 番地にしたら表示が出た。

AXI VDMAを使用してカメラ画像をディスプレイに表示することができた。今回は2つのAXI4-Stream Switch を切り替え、ラプラシアンフィルタIPの連続処理を設定して、ラプラシアンフィルタ処理後の画像をディスプレイに表示する。
ラプラシアンフィルタ処理に切り替えたところ、青いエッジが見えた。RGBにラプラシアンフィルタ出力値をコピーしないで、Bのみにコピーしたためだった。

前回はAXI4-Stream版のラプラシアンフィルタ処理を行ったところ、エッジが青く表示 されてしまった。これはAXI4-Stream版のラプラシアンフィルタIP のバグだったので、修正を行って、完成した。

Vivado HLSで使用したCソースコードを使用したらソフトウェアでは、どのくらい速くなるのかやってみた。
今まで、ソフトウェアでの結果とハードウェアにオフロードした時の結果を比較していたが、ソフトウェアはいかにもソフトウェアで書くようなコードで比較してい て、ハードウェア化するコードではなかった。ハードウェア化するコードをソフトウェアで実行するとどのくらいの性能になるかを検証することにした。

前回は2つのVivado HLS 2014.4 で使用した2つのCソースコードをソフトウェアに適用したら、どの程度の処理速度になるかを調べた。Vivado HLS 2014.4 で使用したコードをソフトウェアに移行したら速くなることが分かった。更に、ほとんど同一のCソースコードによるソフトウェアとハードウェアでのラプラシアンフィルタの処 理速度の違いを測定した。

今回は、”ラプラシアンフィルタのソフトウェアとハードウェアの速度の比較2”で高位合成した IPをシミュレーションしてみた。

今回はVivado HLS 2014.4 で最速の性能をたたき出しているCソースコードをZYBOのLinuxで動作するソフトウェアとして性能を測定した。

ZynqにはARMのCortex-A9 プロセッサがDualで入っているが、NEONというSIMDエンジンが搭載されている。NEONについて調査した。

”ZynqのSIMDエンジンNEONについての資料”の続きというか、その資料を参考にして 自動ベクトル化を行う gcc のオプションを使用してラプラシアンフィルタをコンパイルし、その性能を確認した。

”gcc の最適化とNEON 最適化ライブラリを使用した時の性能”の時は、gcc 4.6 でコンパイルしていたが、今回は gcc 4.8 にアップグレードして同様にラプラシアンフィルタの異なるソフトウェアをコンパイルして実行時間を比較してみた。

前回は gcc 4.8 の時のコンパイル・オプションやNEON 最適化ライブラリを使用するためのコンパイラ・オプションを使った時の性能差を表にまとめた。
今回は、NEON最適化ライブラリを使用するコンパイラ・オプションを付けた時に本当のNEONを使用するアセンブラ・コードが出ているかを検証する。

clang-3.4 + llvm-3.4 でC がコンパイルできるようになったので、clang の最適化オプションや自動ベクトル化・オプションを付けてコンパイルした時にどのくらいの性能向上があるのかを検証した。

gcc-4.6, gcc-4.8, clang-3.4 とコンパイル時の最適化オプションによる速度の違いを検証してきた。

今回は、最適化オプションの -Ofast を gcc-4.6, gcc-4.8, clang-3.4 で試してみた。

今まで、NEON命令を使ってラプラシアンフィルタの実行速度を測ってきたが、今回は OpenMPを使って、高速化してみよう。
OpenMPとは複数のプロセッサを使ったマルチスレッディングを行うための API だそうだ。
ラプラシアンフィルタ処理結果がおかしくなった。

Vengineer さんからツイッターで、”forループ内のローカル変数をプラグマ内で定義しないと、おかしくなりますよ”とのアドバイスを頂いた。調べてみると、”#pragma omp parallel for”の後に”private(list)”を付ける必要があるようだ。
” C言語による OpenMP 入門 ”の12ページ、”5.1 private(list) ”を参照すると、各スレッドで独自の変数値を持つためには、private 指示子が必要なようだ。
それでも、まだ、ラプラシアンフィルタ処理結果はおかしい。

前回は、laplacian_fiter1 と laplacian_fiter2 のOpenMP を使うようにコンパイルして、実行した結果をブログに書いた。今回は、laplacian_fiter3 と laplacian_fiter4 をやってみた。

OpenMPを使ったラプラシアンフィルタの動作がおかしいという現象があった。ブロ グのコメント欄でも教えてもらったのだが、OpenMPのプラグマを書いた for 文のどの順に実行されるかわからない？ということで、元のラプラシアンフィルタをよりシンプルにしてみた。
laplacian_filter8.c は真ん中に線が入ってしまったが、その他は正常なラプラシアンフィルタ処理結果となった。
gcc-4.8 の OpenMP、-O3、laplacian_filter8.c で最速値 72.5 ms が計測できた。まだ、laplacian_filter8.c は結果がおかしいが最速値を計測することができた。一方、ラプラシアンフィルタの実行に関しては、1 core 使用した時と、2 core 使用した時では、あまり速度差が無いと言える。

ZYBOのHDMIはSource と Sink 両方使用することができる。つまりHDMI入力にもなれば、HDMI出力にすることもできる。これは、HDMIの信号がバッファを通したのみで Zynq-7010 チップに接続されているからなのだが、この性質を利用して、ZYBO同士を通信させようと思っている。その代わり、HDMIの8B10Bデコードなどは、自分で作る必要が ある。

”ZYBOのHDMI入力を使用する（概要）”の知見をベースにHDMI入力から入力されたビ デオ信号をVGAポートに出力するVivado 2015.2 のプロジェクトを作り、論理合成が終了した。

前回は、Vivado 2015.2 のプロジェクトを作製して、ブロックデザインを作製し、論理合成を行った。今回は、制約ファイルを生成した。
インプリメントを行ったら、place でエラーが出てしまった。

今回はバグフィックスを行った。
TMDS_Clk_p が 6.060 ns つまり 165 MHz に制約されているので、 8.334 ns , 120 MHz に変更したところ、ビットストリームの生成まで成功した。

ZYBOのHDMI入力からVGA出力に出力する回路が出来上がったので、動かしてみようと思 う。
マスタ側の ZYBO を起動して、（Ubuntu 14.04 LTS） Apps ディレクトリに移動して、カメラ出力のコマンド ./cam_disp_uio を実行したら、なんと、スレーブ側のVGAポートからマスタ側のカメラ画像が出ました。。。やった～～～。とっても嬉しいです。。。と喜んでいるが、この後は、SVGAで は画像が出なかった。

昨日、1日いろいろとパラメータを変えながらやってみたが、どうやら、たまたまHDMIで画像を転送できる時もあるが、転送できない時のほうが圧倒的に多いよ うだ。昨日は1回しか転送できなかった。
dvi2vga IP はSVGA では上手く画像データを受信することができなかった。XGA以上でないと受信できないようだ。

自作のカメラ画像出力の800x600 解像度のHDMI 信号がまずいのかも知れない？ということで、Digilent 社のZYBO ページのZYBO Base System Design で画像を出力してみることにした。
やはり、800x600 60p ではslave 側にVGA画像が出力されない。
しかし、dvi2rgb IP を 60MHz 720p に設定して、ZYBO Base System Design で 1280x720 60p を指定すると、コンフィグレーションの順番に関係なく、100発100中でVGA端子から画像が出力された。但し、9秒ほど表示するまでの時間がかかっている。

現在のdvi2rgb IP はDigilent フォーラムの”Help With A Zybo Video Design”の mwingerson さんの書き込みに従って"dvi2rgb.xdc"を修正してある。それに、dvi2rgb IP に hdmi_hpd と hdmi_out_en 端子を追加した。

これで、ビットストリームの生成まで行って、ノートパソコンをHDMIに接続して解像度を変え て試してみた。SVGA以外はOK。

前回、ラプラシアンフィルタを除いたVideo In to AXI4-Stream IP と AXI4-Stream to Video Out IP、Video Timing Controller (VTC)を接続したが、正常に画像が表示できた。
今回は、Video In to AXI4-Stream IP と AXI4-Stream to Video Out IPの間のAXI4-Stream インターフェースの間にラプラシアンフィルタIP を挿入した。

”ZYBOのHDMI入力をVGA出力に出力する8（ラプラシアンフィルタIP付き）”で出来 上がったプロジェクトをGitHubで公開した。

RGB信号入力からラプラシアンフィルタ処理をしてVGAポートに出力してみよう。

ZYBOの xc7z010clg400-1 のVivado HLS 2014.4 プロジェクトを作製して、lap_filter_rgb.cpp を作り、CからHDLへの合成を行った。

AXI4-Stream版ラプラシアンフィルタIP を使用して、ビデオ信号から AXI4 Stream に変換して、ラプラシアンフィルタ処理を行い、その出力の AXI4 Stream をビデオ信号に変換する。

Vivado HLS でAXI4 Stream 版のラプラシアンフィルタIP をAXI4 Lite Slave を使わない形にする。更に、1ビットの lap_fil_enable を作って、lap_fil_enable = 1 の時だけラプラシアンフィルタ処理を行い、それ以外の時はビデオ信号をそのまま出力するように変更する。lap_fil_enable はスイッチに割り当てる予定である。ソースコード有り

ブロックデザインを完成させた。ビットストリームを生成し、実機テストしてもVGAに画像は出 なかった。

前回、アンシャープマスキング・フィルタ IP が作成できたので、Vivado 2015.2 でプロジェクトを作製して動作をチェックする。
プロジェクトは、”ZYBOのHDMI入力をVGA出力に出力する8（ラプラシアンフィルタIP付き）”のプロジェクトを使用する。ラプラシアンフィルタ IP の部分だけをアンシャープマスキング・フィルタ IP に交換する。

以前、ZedBoard 用にHDLで書いたラプラシアンフィルタのIP があった。（”AXI4 Master アクセスのラプラシアン・フィルタ IP９（できた。完成）”）
これをZYBO用にVivado 2015.3 で再度実装してみたいと思う。

前回は、write_adfifo の生成を行ったが、今回はその続きで、Write関連のFIFOの生成を行う。

前回まででは、Write用のFIFO を生成したので、今回はRead用のFIFO を生成する。

前回で、FIFO IPの生成は終了した。今回は、シミュレーションを行う。

前回、シミュレーションで動作を確認できたので、今回はIP化を行う。使用するVivado のバージョンは 2015.3 だ。

前回は、HDLで書いたラプラシアンフィルタIP をIP化することができたので、今回は、”IPをVivadoの IPIに追加して、BOOT.binとデバイスツリーを作り、ZYBO のLinuxでアプリケーションを作る作り方”のVivado 2015.3 のプロジェクトのブロックデザインに追加する。（V_ZYBO_CAMDfL144_tu_2 をコピーしてVivado 2015.3 のプロジェクトとした）

前回では、ブロックデザインが完成した。今回はインプリメントを行う。

前回はインプリメントは終了したが、タイミング違反が出ていたので、ストラテジーを変更したイ ンプリメントを行った。その結果、タイミングを満足したインプリメント結果が得られた。SDKを立ちあげて、BOOT.bin を生成した。

今回は、devicetree.dtb を生成して、Micro SDカードに、BOOT.bin と devicetree.dtb を書き込んで、ZYBOに挿入してUbuntu をブートし、/sys ディレクトリと /dev ディレクトリを観察した。

今回は、制御ソフトウェアを作製してZYBO でHDLで書いたラプラシアンフィルタを動作させ た。
バグというかパーミッションの設定忘れが残っている。

UIOの最大数を増やす目的でやったのだが、どうやら、UIOのアドレスマップの最大数を決め る定数のようだ。結論から言うと、これはUIOの最大数には関係ないようだ。Linuxカーネルのリビルド方法。

前回はUIOの最大数を 10 にしたつもりだったが、もしかしたらUIOのアドレス領域を 10 に増やしただけかもしれない？

原因は、/dev/uio5 のパーミッションが 600 だったことだった。パーミッションを 666 にしておけば、uImage も Vivado HLS で出力したドライバもそのまま動作した。

次のお題だが、こういうのを考えている。
ZYBOを2台使用し、それぞれにカメラを搭載して、1台のカメラの画像をラプラシアンフィルタ変換を行い、HDMIでもう一台に送信する。
もう1台のZYBOでのHDMI信号を受けて、自分のカメラの画像のラプラシアンフィルタ変換画像と比較して、距離を計算する。
距離は色としてラプラシアンフィルタ画像にアルファブレンドする。
つまり、ステレオカメラからの距離によって、色が変化する画像をやってみたい。
ステレオカメラはZYBOに1台ずつ付けたカメラを2台のZYBOを使ってステレオカメラとする。

今回はステレオカメラによる距離の測定装置のブロック図を書いてみた。ブロック図を貼った。

今回は、ステレオカメラによる距離の測定装置のブロック図のZYBO 0 のハードウェアを作っていくことにする。
今回作製するブロックデザインは、”AXI4-Stream版ラプラシアンフィルタIPのカメラ表示システム4（ブロックデザイン2）”で大体出来上がってい る。これに、bitmap_disp_cntrler_axi_master を追加して、XGA解像度でHDMI を出力させれば完成する。元からある bitmap_disp_cntrler_axi_master_0 はHDMI ポート出力をオープンにする。

今回は、ZYBO_0 にXGA 解像度のビットマップ・ディスプレイ・コントローラを追加して、HDMIポートに接続した。ブロックデザインを完成させてビットストリームの生成までを行ったが、 タイミングエラーが出てしまった。

タイミング違反を確認して、タイミング違反がInter-Clock Path だったら、False Path を設定して、もう一度、インプリメント、ビットストリームの生成を行い、成功した。SDKを立ち上げた。

SDK上でアプリケーション・プロジェクトを作製して、ソフトウェアを作り、ZYBO上で動作 させた。VGAポートにはカメラ画像が出力された。

カメラ画像出力はできたのだが、タイミング違反が出ていたので、それを解消してから、ラプラシ アンフィルタ出力するようにソフトウェアを追加した。ラプラシアンフィルタ画像出力をすることができた。

前回はZYBO でUbuntu を起動して、そこからカメラ出力かラプラシアンフィルタ出力かを選択できるようにしようということで終わったが、ベアメタル・アプリとしてスイッチでカメラ出力とラプラシ アンフィルタ出力を切り替えても良いのじゃないか？ということで、スライドSWの 0 番めが 0 だったらカメラ出力、1 だったらラプラシアンフィルタ出力にすることにした。

Linuxを起動しなくても問題ないように standalone で動作するラプラシアンフィルタのアプリケーションを作製したが、やはり今後のためにもZYBO 上のUbuntu 14.04 LTS で動作するアプリケーションを作製しようと思う。
そのためには、最初にSDK でBOOT.bin を作製し、パソコンのVirtualBox 上のUbuntu 14.04 LTS で devicetree を作製しMicro SD カードにコピーした。

ZYBO 上で動作するUbuntu 14.04 LTS 上でUIO ドライバを使用してカメラ画像を表示できる用にソフトウェア (cam_disp_vdma.c) を書いた。

前回は、カメラ画像を表示するアプリケーションをUbuntu 14.04 LTS 上で作製した。できたと思っていたのだが、カメラ画像が1回しか書かれていなくて、連続して表示されていなかった。昨日修正したが、原因はフレームバッファの3フレーム目 のスタートアドレスを書くレジスタ (0xB4) にアドレスを間違えて書いてなかったためだった。AXI VDMAは 3 面以上のフレームバッファを使用しないと連続して画像を書けない様だ。（S2MM の場合）
今回は、ZYBO のUbuntu 14.04 LTS 上で、ラプラシアンフィルタ処理してその表示を行う lap_fil_on_axis.c とラプラシアンフィルタ表示からカメラ表示に戻す cam_return_axis.c を貼っておく。どちらも動作した。

yama さんから Vivado and zybo linux勉強会資料の更新情報を頂いたので、SlideShare の Vivado and zybo linux勉強会資料2 と Vivado and zybo linux勉強会資料3 を更新しました。

ZYBO_0 はUbuntu 14.04 LTS からも制御できるようになって、完成した。次は、ZYBO_1 の方を作る。
なお、”並列ステレオカメラによる距離の測定1（ブロック図）”に書いたブロック図をもう一度示す。

前回はHDMIから入力したSVGA画像をDDR3 SDRAMにバッファして、そこからディスプレイに表示するという構想を示した。今回は、実際にVivado 2015.4 のプロジェクトの作製を行った。

前回は、ZYBO_1_XGA_test ブロックデザインを作製したところまでだったので、今回は、論理合成、インプリメント、ビットストリームの生成を行って、成功した。

前回は、HDMI 端子から入力したXGAの画像をDDR3 SDRAM のフレームバッファにバッファして、SVGAで表示する回路のビットストリームを生成する事ができた。今回は、SDKでソフトウェアを作製して、実機でテストを行ったが、 上手く表示されなかった。

正常に動作すれば、XGA画像をHDMI から取り込んで、VGAの画面としてディスプレイに表示するはずなんだが、表示しない。そこで、Vivado Analayzer でデバックを試みることにした。

前回は、v_vid_in_axi4s_0 の AXI4-Stream の aclk クロックは FCLK_CLK_0 だが、axi_vdama_0 の s_axis_s2mm_aclk は dvi2rgb_0 の PixelClk だった。AXI4-Stream のMaster とSlave でクロックが違っていた。
それで、v_vid_in_axi4s_0 の AXI4-Stream の aclk クロックを dvi2rgb_0 の PixelClk に接続した。

v_vid_in_axi4s_0 の AXI4-Stream の aclk クロックとaxi_vdama_0 の s_axis_s2mm_aclk をPS のFCLK_CLK0 に接続してビットストリームを生成した。SDKでビットストリームをZYBO にダウンロードして、アプリケーションを走らせたが、うまく行かない。。。
PL に接続された125 MHz の水晶発信器からのクロックをPLL を介して200 MHz に変換したクロックを dvi2rgb IP の RefClk に接続したら、うまく行った。

”HDMI入力XGA表示回路7（完成）”で、ZYBO_1_XGA_test が完成したので、”並列ステレオカメラによる距離の測定9（Ubuntuで動作するアプリケーションを作る2）”で完成したZYBO_0 をHDMI ケーブルで接続してテストすることにした。
送り元のZYBO_0 で VGAポートから出力し、それをZYBO_1_XGA_test で表示すると、黄色がピンク、ピンクが黄色になってしまうようだ。となると、緑と青が入れ替わっているっぽい。そこで色を入れ替えた。

”ZYBO_0 と ZYBO_1_XGA_test との接続テスト”でZYBO を使用して、HDMI 出力から画像を出力して、HDMI 入力で入力して表示することは出来たのだが、どうもHDMI 間の転送がミスしているビットがあるようだ。
そこで、Digilent Vivado library のrgb2dvi IP を使用してHDMI 出力することにした。そのためには、bitmap_disp_cntrler_axi_master IP のTMDSインターフェースをDigilent 社のRGBインターフェースに変更する必要がある。また、今まで、bitmap_disp_cntrler_axi_master IP は25MHzのクロックを入れて、内部のMMCMで必要なピクセルクロックを生成していたが、外部からピクセルクロックを入力する方式に変更する。

前回はZYBO_0 のDigilent 社のrgb2dvi IP を使用したブロックデザインが完成した。今回は、それをインプリメントして、ビットストリームを生成した。

以前、”ZYBO_0 と ZYBO_1_XGA_test との接続テスト”でもやったのだが、ZYBO_0_2 と ZYBO_1_XGA_test をHDMI で接続してテストしてみた。
うん、やはり、ZYBO_0 よりもZYBO_0_2 の方が安定している印象だ。こちらを使うことにしようと思う。

おるさんにコメントでご指摘頂いたので、右目カメラ画像の黒いドットは、ビットマップ・ディス プレイ・コントローラの画像用FIFOのアンダーフローではないか？と思い、FIFOの容量を変えるか？それともAXI4 Master のバス周波数を変えてみることにした。影響は無かった。

”ZYBO_0_2 と ZYBO_1_XGA_test との接続テスト”で上手く行ったので、”並列ステレオカメラによる距離の測定8（Ubuntuで動作するアプリケーションを作る1）”で作製したBOOT.bin をもう一度、再生成した。
Ubuntu 14.04 も無事起動したし、カメラ画像も写った。もう1つのZYBO にZYBO_1_XGA_test を入れて、接続テストも行った所、成功した。

”ステレオカメラによる距離測定テスト5（インプリメント成功）”まで作っておいて何だが、や はり、”ZYBO_0_2 と ZYBO_1_XGA_test との接続テスト”で左端に出ている余計な画像と画像中の黒いドットが気になる。左端の画像は距離を測定する上で問題になるかもしれないので、もう一度、回路を検証してみる ことにした。
HDMI 出力は問題無さそうに見える。

前回は、ZYBO_0_2 から出力されるHDMI 出力はどうやら良さそうだ。ということが分かった。今回は、HDMI を受ける側のZYBO_1_XGA_test を変更して、バグが直るかどうかを確認したが、やはり黒いドットは表示されている。（ZYBO_0_2 のビットマップ・ディスプレイ・コントローラのバグフィックス2でバグフィックスできた）

”デバイスドライバ udmabuf を使用する2”でZYBO_0_2 （カメラ画像のHDMI 出力装置）の cam_disp_vdma アプリケーションが udmabuf デバイス・ドライバを使用して動作した。（ZYBO_0_2 の情報は”ZYBO_0 を変更3（Ubuntu 14.04 LTSのBOOT.binを変更）”辺りを参照のこと）

他のラプラシアンフィルタ画像出力アプリケーション lap_fil_on_axis やラプラシアンフィルタ画像を出力している時に生のカメラ画像に戻るアプリケーションの cam_return_axis を試してみた。

ZYBO_0_2 のビットマップ・ディスプレイ・コントローラのワードレーンがおかしいようなので修正を行った。
ZynqのPSのユニットはすべてリトル・エンディアンだったが、ビットマップ・ディスプレイ・コントローラで使用している入力64ビット幅、出力32ビット 幅の非同期FIFOはXilinx社の仕様からビック・エンディアンだった。つまり、ワード（32ビット）単位でレーンがひっくり返る訳である。以前はカメ ラ・インターフェース・モジュールも64ビット幅でカメラ・データを転送していたので、ワード・レーンはビック・エンディアンだったが、問題が無かった。その 時は、ARMプロセッサから画像データを読む際には、4 と排他的論理和を取ったアドレスから読んでいた。つまりワード・レーンをひっくり返していた（32ビット単位で隣のアドレスとひっくり返した）わけだ。

”ZYBO_0_2のビットマップ・ディスプレイ・コントローラのバグフィックス”で右目カメ ラ画像をHDMIで送り出すためのZYBO_0_2 プロジェクトのビットマップ・ディスプレイ・コントローラのバグをフィックスした。今度は、右目カメラ画像をHDMI経由で受けて、左目カメラ画像を取り込む StereoCamTest プロジェクトのビットマップ・ディスプレイ・コントローラのバグを同様にフィックスすることにした。

StereoCamTest プロジェクトで、HDMI経由で転送されてきた右目カメラ画像に黒いドットが入っているバグがあるので、修正を試みた。バグを確認した。

前回は、dvi2rgb IP から出ている出力がSVGA だったというのがショックだった。XGA サイズの画像をHDMI で出力しているのだが。。。そのデバックをしてみた。このバグは解消されたようだ。

今回は、右目カメラ画像に出ている黒いドットを消すことができた。良かった。非常に嬉しい。

スイッチが壊れたので、交換した。

現在のMT9D111 カメラのフレームレートは 800 x 600 の 15 fps なのだが、AXI VDMA IPでカメラ画像のAXI4-Stream から DMA する時に 3 つ以上のフレームバッファの時にしかDMA されない。ビデオ出力は私の作ったbitmap_disp_cntrler_axi_master で出力しているのだが、それは 1 つのフレームバッファにしか対応していない。よって、AXI VDMA IP で書かれた 3 つのフレームバッファの内の最初の 1 つをbitmap_disp_cntrler_axi_master で表示している。したがって、フレームレートが 1/3 になってしまう。

今回は、今まで S2MM のみ使用したAXI VDMA のMM2S も使って、ビデオ出力をしようと思う。

前回、AXI VDMA のMM2S も使いたいという話をしたが、今回は、Vivado 2016.1 でプロジェクトを作成して、ブロックデザインを完成させた。

前回、AXI VMDA の S2MM と MM2S を両方使用したブロックデザインを作製した。今回は、そのブロックデザインをシミュレーションしようと思う。だが、Zynq のPS はプロセッサのモデルが無くてそのままではシミュレーションが出来ない。そこで、reg_set_axi_lite_master IP を使用する。このIP は言ってみれば、設定ファイル（vdma_reg_set.txt）の設定内容（2行構成で、最初の行がアドレス、次の行が書き込むデータの2行構成の組がある）を AXI4 Lite Master でIP のレジスに書き込むIP である。もう1つメモリのモデルの mem_sim_axi_slave を使用する。これは、汎用のメモリ・モデルだ。

前回はシミュレーション時にエラーが出てしまった。今回はシミュレーション時のエラーを解消し た。具体的には、rgb2dvi IP を削除した。

AXI VDMA の S2MMで、3 フレームバッファ以上しか設定できないので、カメラの画像を 3 つのフレームバッファに入力していた。それを 1 つのフレームバッファしか扱えない自作のビットマップ・ディスプレイ・コントローラで画像を表示したので、3 つのフレームバッファの内の 1 つのフレームバッファしか表示用に使用できないので、フレームレートが 1/3 になっていた。
カメラのフレームレートは 15 fps なので、実質、5 fps になっていたわけだ。
今のところ、3 つのフレームバッファは連続的にアドレスを割り振っている。今日、シミュレーション用の設定定義ファイルを書いていた時に、気がついた。3 つのフレームバッファのアドレスをビットマップ・ディスプレイ・コントローラのアドレスだけにすればフレームレートは 1/1 じゃないか？と。。。つまり、3 つのフレームバッファのアドレスを同一にする訳だ。

reg_set_axi_lite_master IP のレジスタ設定ファイル vdma_reg_set.txt にアドレスと設定値を入れて、シミュレーションを行った。
最初はAXI VDMA の MM2S の設定で、その後は、AXI4-Stream Switcher の設定がある。

前回、v_axis_vid_out IP が出力していないのが不安ではあるが、AXI VDMA からは出力が出ているので、ZYBO 実機で試してみようということで、ブロックデザインを修正して論理合成、インプリメントしてみたが、エラーが出てしまった。シミュレーションを元にブロックデザインを修正 した。

前回はビットストリームの生成まで出来たので、今回は、アプリケーションを作って、ZYBOの 実機でテストした。
cam_disp_axis.c を AXI VDMA の MM2S を使う仕様に変更して、ZYBO実機でテストしてみたが、何も表示されない。

前回はZYBOを使って実機でテストしてみたが、画像は出力されなかった。今回はシミュレー ションをもう一度やってみた。

前回、シミュレーションで、AXI GPIO をVTC の aresetn に追加して、1 フレーム目にAXI VMDA のMM2S が出力された。
今回は実機でVivado Analyzer を使って実際にどうなっているかを確かめてみた。
やはり、どうにもAXI VDMA は相性が悪いみたいで、どうもうまく行かない。中止にすることにした。

”Vivado HLS を使用した車の白線検出9（Canny フィルタ3）”で、大体Vivado HLS による C シミュレーションでは白線検出が出来てきたと思うので、本命のZYBO のOpenCV 環境でまずはソフトウェアで、どのくらいの速度で白線検出をできるかどうかをテストしてみた。

前回は、equalizeHist() を使用し、Canny フィルタを掛けて、HoughLine 変換で道路の白線検出を行った。しかし、画像を読み込む時点で白黒画像に変換していた。ハードウェアでは、カメラで撮影した画像を白黒変換して、Canny フィルタを掛ける予定なので、白黒画像変換の部分の経過時間も測る必要がある。それでC++ ソースコードを修正した。更に、白黒画像変換＋Canny フィルタの経過時間を測定した。

今回は前回のコードはそのままに、10行目の”#define HIST”をコメントアウトして、equalizeHist() を使用しないで、Canny フィルタのみで白線検出を行うことにする。なお、Canny フィルタのスレッショルドは、試行錯誤して、最適化したつもりだ。

前にやったのは半年くらい前だが、DMA Read IPが動作しないということで止まっていた。しかし、”「Vivado HLS で DMA Read IP を作る2（絶対アドレス指定版）」を使って合成後の機能シミュレーション3”で論理合成しても機能シミュレーションが問題なくなったということで、もう一度やってみようと 思う。

DMA_Read_addr_0 の m_axi_in_r と outs は波形が出ていて動作しているようだった。よって今回は、AXI4-Stream 版のビットマップ・ディスプレイ・コントローラの内部信号をVivado Analyzer で確認してみよう。

前回、Vivado HLS で生成した AXI4 Master DMA IP を使用したカメラ画像表示システムが動作した。しかし、ブロックデザイン上で挿入したILA コアとネットリストの信号を観察するため入れたILA コアが残ってしまっている。それを削除した。

前回は、Vivado HLS で生成した AXI4 Master DMA IP を使用したカメラ画像表示システムから 2 つの ILA コアを削除した。今回は、アプリケーションソフトを整備した後で、15 fps のカメラのフレームレートを 30 fps に変更する。

”ZYBOのクロス開発環境の構築 (2017年10月時点)”が出ていたので、ZYBO のYocto を久しぶりにビルドしてみました。

Zynq+Vivado HLS勉強会は 7 回から 8 回に変更になった。最後の回は、任意精度固定小数点データ型とVivado HLS のOpenCV対応を追加した。今日はZYBO でUbuntu 14.04 を立ち上げて、その上で、Vivado HLS で生成したAXI4 Lite Slave インターフェースのIP を使う方法をやる予定だ。
その下準備をしていたところ、ZYBO のボード・ファイルを使用して作成したブロック・デザインで、ネットワークが動作しなかった。いろいろとやってみたが、どうにも動作しない。もしかしてということで、 ZYBO Z7-20のネットワークがつながらなかった例を思い出した。

ZYBO Z7-20 の PS の UART のビットレートは 115200 bps に設定されている。これではスピードが足りないので、もっと高いビットレートを設定することにした。