【Techの道も一歩から】第28回「深層学習による物体検出で遊んでみる」

f:id:kanjirz50:20190104142720j:plain

こんにちは。DSOC 研究開発部の高橋寛治です。新型コロナウイルス感染症対策では、外出自粛を徹底することが大事とされており、自宅でできる遊びを日々模索中です。

さて、今回は自宅のノートパソコンや物を使って、深層学習による物体検出で遊びます。物体検出はなんとなく知っていただけなのですが、実際動かしてみると楽しいものです。

今回作るもの

リアルタイムでの任意の物体検出を作ります。今回、検出したいものはゲームのコントローラー類です。

似たようなものばかり買って何になるのかと、家族に言われるかもしれません。でも、物体検出器は似たようなものと文句を言わず、きっと種別を分けて認識してくれるはずです。

今回、リアルタイムの物体検出には、YOLO(You only look once)を用います。 YOLOはリアルタイム物体検出で最先端なモデルと言われており、扱いやすいツールキットを提供しています。

公式マニュアルの次の箇所を見れば進められるはずです。

環境構築

家のノートパソコンがNVIDIA製GPUを積んだWindowsですので、Windows上で環境構築を行います。

Darknet と呼ばれるニューラルネットワークフレームワークで書かれた YOLO ツールキットを用います。

Windowsでのセットアップですが、次のソフトウェアをインストールします。括弧内は私がインストールしたバージョンです。 Visual Studioから順にインストールします。

その後、公式リファレンスのここに記載されているように、順に CMake や Visual Studio を操作し、darknet をビルドします。 CUDA や OpenCV が CMake で認識されているか忘れないように確認しておきましょう。もし認識されない場合は、パスが通っていないかもしれないので、確認してください。

アノテーションツールもREADMEに書いてある通りに進め、ビルドします。

画像の準備

対象とするゲームコントローラをいくつか並べて、写真をいろいろな角度から十数枚撮影します。そして、アノテーションツールで、アノテーションします。

f:id:kanjirz50:20200430190116p:plain

今回は12枚撮影し、5クラスとしました。

GC: 色違いのゲームキューブコントローラーやホリクラシックコントローラー for Nintendo SwitchもGCコンとする
PRO: Proコントローラー
JOY: Joy-Con
SNES: スーパーファミコンコントローラー
XBOX: Xbox ワイヤレスコントローラー

枚数がかなり少ないですが、まずはお試しということで取り組みます。

学習

Yolo v4の事前学習済みモデルを用いて、追加で学習します。ノートパソコン用のRTX2060で約10時間学習にかかりました。 GPUメモリが少ないため、バッチサイズ(batch=32)と画像サイズ(width=320, height=320)を変更しました*1。コンフィグファイルは、クラス数に合わせていくつかの箇所を書き換えます。

f:id:kanjirz50:20200430193237p:plain