flir lepton drone wroom02

サーマルカムではESP8266を経由してWiFiでFlir Leptonのセンサー情報をiPhoneで手軽に再現する事が出来ました。 iPhoneのGPUを使ってオブジェクト認識はアップルのアプリの規定でマルチスレッドでその機能を使う事が出来ません。 試しにXcodeでtiny YOLOを開発者用にインストールしてテストすると流石にアップルだけあってGPUの能力は高いのですが、冷却ファンが無いので1分程でアプリは落ちてiPhoneカメラの下辺りがかなり熱くなります。恐らくGPUの熱でシステムがアプリをシャットダウンするのでしょう。 サーマル画像をオブジェクト認識は2年前にフレームワークのデータセットで認識しました。NVIDIA　TX2を使っています。（carrier boardboardを使ってオリジナルのボードよりコンパクトにしてバッテリで動くようにしています。） Jetson Xavierとの大きさの比較 これをMaker Faire Tokyo2017で展示しました。 2018年後半からはJetson Xavierを使ってより効率的に認識を向上しています。 これを今度はMaker Faire　Kyoto2019で展示しました。 2019年3月からJetson Nanoが発売されたのでnanoで開発中。 ただJetson Xavierは高価で導入し難いので今は今年発売になったJetson Nanoで開発中。 私達がmainで使っているのはOpenframeworksとYOLOです。 7月にやっとDEEPSTREAMがアップデートされて機能が劇的に向上するかと思いましたが、Openframeworksをつかってメモリースワップやgstreamerを使えば同じような事が既に出来ていたので今回DEEPSTREAMは期待した結果では無かった。 FLIRのデータセットが手に入ったのでYOLO用に変換してLeptonで使ってみましたがそのままでは本来Lossが0.5前後にならなといけないのに1.5〜1.8を行ったり来たりで学習結果が上がりません。 今はLeptonの画像をアノテーションして５０％混ぜて学習させると向上しました。 動きの早い認識はnanoでは難しいで