•
STのセンサ、マイクロコントローラ、モータ制御ソリューションと、NVIDIA社のロボット開発エコシステムの統合により、ヒューマノイド・ロボットなどのフィジカルAIシステムの設計・学習・展開を支援し、効率性・信頼性・拡張性を向上
•
第一段階では、Leopard Imaging社のST製品搭載ステレオ深度カメラとNVIDIA Holoscan Sensor Bridgeを統合し、ST「ASM330LHHX」IMUの高忠実度Sim to RealモデルをNVIDIA Isaac Sim開発エコシステムへ追加
 
多種多様な電子機器に半導体を提供する世界的半導体メーカーのSTマイクロエレクトロニクス（NYSE：STM、以下ST）は、ヒューマノイド、産業、サービス、医療用ロボットなどのフィジカルAIシステムの世界的な開発と普及促進に向けた取り組みを発表しました。STは現在、先進ロボット向けの包括的なポートフォリオを、NVIDIA Holoscan Sensor Bridge（HSB）と互換性のあるリファレンス製品セットへの統合を進めています。また並行して、ST製品を高忠実度に再現したNVIDIA Isaac Simモデルを両社のロボット開発エコシステムに統合し、Sim to Real（シミュレーションから実システムへの適用）に関する研究開発をより迅速かつ高精度に行える環境を提供します。開発者向けに提供される最初の成果として、「ST製品を搭載したLeopard社の深度カメラとNVIDIA HSBの統合」、「ST IMUの高忠実度モデルとNVIDIA社のIsaac Sim開発エコシステムの統合」を提供します。
 
STのアメリカ地区 / グローバル・キーアカウント セールス & マーケティング担当エグゼクティブ・バイスプレジデントであるRino Peruzziは、次のようにコメントしています。「STはロボット開発コミュニティに積極的に参加し、力強いサポートと安定した開発エコシステムを提供しています。NVIDIA社との協力では、AIアルゴリズムの初期構想からセンサとアクチュエータのシームレスな統合に至るまで、あらゆる段階で開発者とユーザの体験を効率化し、最先端のロボット開発の新たな波を引き起こすことを目指しています。これにより、AIを活用した高度なフィジカル・プラットフォームの進化を加速させます。」
 
NVIDIA社のロボットおよびエッジAI担当バイスプレジデントであるDeepu Talla氏は、次のようにコメントしています。「次世代の自律システムの開発を加速させるには、高忠実度のシミュレーションとシームレスなハードウェア連携によって、仮想環境での学習と実世界での導入とのギャップを埋める必要があります。STのセンサ / アクチュエータ技術と、NVIDIA社のIsaac Sim、Holoscan Sensor Bridge、およびJetsonプラットフォームの統合によって実現する開発基盤は、フィジカルAIを大規模に構築・シミュレーション・展開することに貢献します。」
 
Holoscan Sensor Bridgeによるセンサ / アクチュエータ統合の簡略化
 
NVIDIA HSBにより、開発者は複数のSTセンサ / アクチュエータからのデータ取得とロギングの統合、標準化、同期、効率化が可能になります。これが高忠実度なNVIDIA Isaacモデルの構築に不可欠な基盤となり、学習時間の高速化、「Sim to Real」のギャップを最小化します。
 
今回の目標は、STのセンサ / アクチュエータをNVIDIA Jetsonプラットフォームに接続するプロセスを簡略化することです。そのために、特にヒューマノイド・ロボットの設計に向けて、STM32マイコン、高性能センサ（IMU、イメージ・センサ、ToFなど）、モータ制御ソリューションの組み合わせを事前統合したソリューションを提供します。その代表例が、Leopard Imaging社のロボット用ステレオ深度カメラです。STのイメージング、深度測定、モーション・センシング技術の使用により、フィジカルAI機器メーカー、学術研究グループ、産業用ロボット開発コミュニティなど、幅広い分野での設計をサポートすることが期待されています。
 
Omniverse Isaacの高忠実度モデリングに伴うコストと複雑さを削減
 
先進的なロボットの開発においては、モデリングの課題に加えて、高い開発コストという問題に直面します。広範囲のランダム化を伴う高忠実度シミュレーションでは、大量のGPU / CPUリソースと大規模なデータセットが必要です。ランダム化の対象とするパラメータと、その処理範囲の選択には、特定分野に関する深い専門性が要求されます。選択を誤ると、非現実的なシナリオが生じる場合や、学習効率が低下する場合があります。さらに、過度に変動させると、ランダム化によって合理的な条件を生成できなくなるため、モデルに混乱が生じ、学習収束の遅延、実環境での性能低下につながる可能性があります。
 
STとNVIDIA社は、STの包括的な製品ポートフォリオを対象に、先進ロボティクスの要件を満たし、ハードウェア・キャリブレーションが実施された高精度のモデルを提供することを目指しています。最初のIMUモデルの提供に続き、ToFセンサ、アクチュエータ、その他ICのモデルの提供に向けて取り組んでいます。これらのモデルは、実際のSTのハードウェアから取得したベンチマーク・データと、STのツールを用いて取得した高精度なパラメータおよび実環境に近い挙動を基に構築され、結果としてNVIDIA社のIsaac Simエコシステム向けに最適化されたモデルとなります。また、両社は協力してNVIDIA HSBのSTツールチェーンへの統合を進めています。 
 
STとNVIDIA社は今回の協力を通じて、高精度のモデルによりロボットの学習が大幅に向上すると見ています。実世界のデバイス挙動を忠実に再現したモデルによって、ロボットは現実環境に近いシミュレーションで学習できるようになり、トレーニング期間の短縮、ヒューマノイド・ロボット開発のコスト削減を実現します。
 
NVIDIA Holoscan Sensor Bridge（HSB）の詳細については、こちらをご覧ください。
 
NVIDIA社との協力によりフィジカルAIの開発期間を短縮するSTソリューションの詳細については、こちらをご覧ください。
 
STマイクロエレクトロニクスについて
STは、約48,000名の従業員を擁し、包括的なサプライ・チェーンと最先端の製造設備を有する世界的な総合半導体メーカーです。約20万社を超えるお客様や数千社のパートナー企業と協力しながら、お客様のビジネス創出や持続可能な社会をサポートする半導体ソリューションの開発ならびにエコシステムの構築に取り組んでいます。STのテクノロジーは、スマート・モビリティ、電力エネルギー管理の効率化、クラウド接続型自律デバイスの普及を可能にします。 STは、すべての直接・間接排出（スコープ1および2）、ならびに製品輸送、従業員の出張・通勤による排出（スコープ3の注力分野）におけるカーボンニュートラル達成に向けた取り組みを進めており、2027年末までに再生可能エネルギーの使用率を100％にする計画です。さらに詳しい情報はSTのウェブサイト（http://www.st.com）をご覧ください。
 
◆ お客様お問い合わせ先
STマイクロエレクトロニクス（株）
アナログ・MEMS・センサ製品グループ
〒108-6017 東京都港区港南2-15-1
品川インターシティA棟
TEL : 03-5783-8250