NVIDIA Jetsonとの融合


サーマルカムではESP8266を経由してWiFiでFlir Leptonのセンサー情報をiPhoneで手軽に再現する事が出来ました。
iPhoneのGPUを使ってオブジェクト認識はアップルのアプリの規定でマルチスレッドでその機能を使う事が出来ません。
試しにXcodeでtiny YOLOを開発者用にインストールしてテストすると流石にアップルだけあってGPUの能力は高いのですが、冷却ファンが無いので1分程でアプリは落ちてiPhoneカメラの下辺りがかなり熱くなります。恐らくGPUの熱でシステムがアプリをシャットダウンするのでしょう。
サーマル画像をオブジェクト認識は2年前にフレームワークのデータセットで認識しました。NVIDIA　TX2を使っています。（carrier boardboardを使ってオリジナルのボードよりコンパクトにしてバッテリで動くようにしています。）
Jetson Xavierとの大きさの比較


これをMaker Faire Tokyo2017で展示しました。

2018年後半からはJetson Xavierを使ってより効率的に認識を向上しています。
これを今度はMaker Faire　Kyoto2019で展示しました。

2019年3月からJetson Nanoが発売されたのでnanoで開発中。

ただJetson Xavierは高価で導入し難いので今は今年発売になったJetson Nanoで開発中。
私達がmainで使っているのはOpenframeworksとYOLOです。
7月にやっとDEEPSTREAMがアップデートされて機能が劇的に向上するかと思いましたが、Openframeworksをつかってメモリースワップやgstreamerを使えば同じような事が既に出来ていたので今回DEEPSTREAMは期待した結果では無かった。
FLIRのデータセットが手に入ったのでYOLO用に変換してLeptonで使ってみましたがそのままでは本来Lossが0.5前後にならなといけないのに1.5〜1.8を行ったり来たりで学習結果が上がりません。
今はLeptonの画像をアノテーションして５０％混ぜて学習させると向上しました。
動きの早い認識はnanoでは難しいですが、nanoで出来る認識があれば使える仕上がりになりつつあります。
今後資料を整理して行こうと思います。
https://lepton.flir.com/community-showcase-items/thermal-stereo-cam/



コメント

コメントを投稿

このブログの人気の投稿

Lepton用　Breakout Board

イメージ
  ブレイクアウトボードのサポートページです。 🎉🎉🎉 ThermalCam_TrackerをGithubに公開しました。 （ESP8266でiPhoneでアプリダウンロードしてお手軽に出来る様にしたのですがラズベリーパイの方が人気なんですね🤔) https://github.com/wiwao/ThermalCam_Tracker/tree/main 🎉🎉🎉 FLIR社製Lepton用ブレイクアウトボードです。 初代のブレイクアウトボードが生産中止になって以来、代わりの物がどれも使い勝手が悪かったり、入手が難しかったり、動作が不安定だったりとの理由で自分で使いやすい様に作りました。 自画自賛ですがLeptonをSPI接続で使う方には使い勝手が良いと思うので、Leptonを同じ様に使う人の為にスイッチサイエンスに出しました。 使っていないMOSIピンはR3でプルダウンしています。 なのでそこにリセットピンを割振ってジャンパーする様にしています。リセットピンやVSYNCピンを使う時だけジャンパーを半田付けしてください。SPIのMOSIに信号が出ているとリセットします。（普通は信号確認の信号が出ている筈なので気をつけてください。 そうです。嵌りました。） VSYNCは要望があり追加したので端に追加しました。 私たちのサーマルカムに使っているWROOM02はリセットもVSYNCも使わずスケッチを工夫して画像を転送しています。 ＊初代のブレイクアウトボードを使って８ピンで設計していたり、 VSYNCピンが端で使い勝手が悪ければ２つのジャンパーを縦に半田付けして RstをVSYNCに置き換える事も出来る様にしています。 私たちのブレイクアウトボードのショットキーバリアダイオードはVFの低いダイオードですが、旧ブレイクアウトボードの様に最小の3.0v入力ではLeptonの信号が安定しないのでスイッチサイエンスで以前供給していた W&T Thermal Cam PCB用パーツセットの３.0Vのレギュレータはお勧めしません。 今後は3.3vで出荷を変更します。ご自分で部品を用意される場合は低損失の3.3vレギュレータを使ってください。( Analog Devices社以外のレギュレータでの動作は未確認です。） 初代ブレイクアウトボードの内部のレギュレータは凄ー
続きを読む

基板サポート

イメージ
大阪商工会議所の「AIビジネス創出アイデアコンテスト２０２０」にて、 ”AIメンテくん” （開発環境　NVIDIA Jeston & サーマルカムおうちクラウド）が 産業技術総合研究所の人工知能技術コンソーシアム　会長賞に選ばれました。 flir開発者ブログで紹介されました!2018年9月19日 https://lepton.flir.com/community-showcase-items/thermal-stereo-cam/ maker faire kyoto2019に来展された方にflirのブログ北京語in chineseに訳して頂きました。 https://blog.cavedu.com/2019/05/15/thermal-stereo-cam/ W＆T　FLIR LEPTON サーマルカムモジュール半田付けの コツ How to make it ! ”中華製ドローン用のリチウムバッテリーは極性が日本製リチウムバッテリーと逆” になるので コネクターのピンを入れ替える等して極性を合わせて下さい。 つまりプラスマイナスが逆でレギュレーターが吹っ飛びます。 *The polarity of Drone 1s battery made in china is opposite from standard 1s battery. In any case, Please check the polarity of the 1s battery before you connect our board. *出来ればステレオカメラにする場合は WROOM-02D を2台使って下さい。より低電圧に 対応し電波範囲も広がっているので より安定する。アプリはTestFlightで配布します。 ステレオ カメラで2台使うと現状では他のアクセスポイントが多くある悪い環境では干渉して 左右どちらかのリセットが避けれません。単体での利用でアクセスポイントが４，５個程度 ならWROOM02でも特に問題はありません。 *In case of our Stereo Cam, use 2 sets of WROOM-02D, which works from 3v  i
続きを読む