flir lepton drone wroom02

 改めてラズベリーパイ用のアプリをGitHubに公開しました。 PI4だけでなくPI3も使える様それぞれのインストール方法になっています。 wiwao/ThermalCam3xPI: Raspberry Pi apps for iPhone ThermalCam 3X (github.com) Jetson nanoで画像認識をするアプリも完成間近。TinyYoloですが、JetsonNXやOrinNanoでも動作を確認しました。

  ブレイクアウトボードのサポートページです。 🎉🎉🎉 ThermalCam_TrackerをGithubに公開しました。 （ESP8266でiPhoneでアプリダウンロードしてお手軽に出来る様にしたのですがラズベリーパイの方が人気なんですね🤔) https://github.com/wiwao/ThermalCam_Tracker/tree/main 🎉🎉🎉 FLIR社製Lepton用ブレイクアウトボードです。 初代のブレイクアウトボードが生産中止になって以来、代わりの物がどれも使い勝手が悪かったり、入手が難しかったり、動作が不安定だったりとの理由で自分で使いやすい様に作りました。 自画自賛ですがLeptonをSPI接続で使う方には使い勝手が良いと思うので、Leptonを同じ様に使う人の為にスイッチサイエンスに出しました。 使っていないMOSIピンはR3でプルダウンしています。 なのでそこにリセットピンを割振ってジャンパーする様にしています。リセットピンやVSYNCピンを使う時だけジャンパーを半田付けしてください。SPIのMOSIに信号が出ているとリセットします。（普通は信号確認の信号が出ている筈なので気をつけてください。 そうです。嵌りました。） VSYNCは要望があり追加したので端に追加しました。 私たちのサーマルカムに使っているWROOM02はリセットもVSYNCも使わずスケッチを工夫して画像を転送しています。 ＊初代のブレイクアウトボードを使って８ピンで設計していたり、 VSYNCピンが端で使い勝手が悪ければ２つのジャンパーを縦に半田付けして RstをVSYNCに置き換える事も出来る様にしています。 私たちのブレイクアウトボードのショットキーバリアダイオードはVFの低いダイオードですが、旧ブレイクアウトボードの様に最小の3.0v入力ではLeptonの信号が安定しないのでスイッチサイエンスで以前供給していた W&T Thermal Cam PCB用パーツセットの３.0Vのレギュレータはお勧めしません。 今後は3.3vで出荷を変更します。ご自分で部品を用意される場合は低損失の3.3vレギュレータを使ってください。( Analog Devices社以外のレギュレータでの動作は未確認です。） 初代ブレイクアウトボードの内部のレギュレータは凄ー

サーマルカムではESP8266を経由してWiFiでFlir Leptonのセンサー情報をiPhoneで手軽に再現する事が出来ました。 iPhoneのGPUを使ってオブジェクト認識はアップルのアプリの規定でマルチスレッドでその機能を使う事が出来ません。 試しにXcodeでtiny YOLOを開発者用にインストールしてテストすると流石にアップルだけあってGPUの能力は高いのですが、冷却ファンが無いので1分程でアプリは落ちてiPhoneカメラの下辺りがかなり熱くなります。恐らくGPUの熱でシステムがアプリをシャットダウンするのでしょう。 サーマル画像をオブジェクト認識は2年前にフレームワークのデータセットで認識しました。NVIDIA　TX2を使っています。（carrier boardboardを使ってオリジナルのボードよりコンパクトにしてバッテリで動くようにしています。） Jetson Xavierとの大きさの比較 これをMaker Faire Tokyo2017で展示しました。 2018年後半からはJetson Xavierを使ってより効率的に認識を向上しています。 これを今度はMaker Faire　Kyoto2019で展示しました。 2019年3月からJetson Nanoが発売されたのでnanoで開発中。 ただJetson Xavierは高価で導入し難いので今は今年発売になったJetson Nanoで開発中。 私達がmainで使っているのはOpenframeworksとYOLOです。 7月にやっとDEEPSTREAMがアップデートされて機能が劇的に向上するかと思いましたが、Openframeworksをつかってメモリースワップやgstreamerを使えば同じような事が既に出来ていたので今回DEEPSTREAMは期待した結果では無かった。 FLIRのデータセットが手に入ったのでYOLO用に変換してLeptonで使ってみましたがそのままでは本来Lossが0.5前後にならなといけないのに1.5〜1.8を行ったり来たりで学習結果が上がりません。 今はLeptonの画像をアノテーションして５０％混ぜて学習させると向上しました。 動きの早い認識はnanoでは難しいで