高精度Visual Positioning System人間情報研究所

カメラで撮影された画像をもとに「そのカメラがどの位置・姿勢にいるか？」を高精度にリアルタイム推定する技術です。VPS(Visual Positioning System)では、事前に計測/生成した「特徴空間」にカメラ画像を照合し、そのカメラ画像が撮影された位置/姿勢をリアルタイムに推定します。「特徴空間」とは、AIが空間を認識しリアルタイム推定を行う根拠とする重要な情報です。本技術は、従来よりも効率的かつ高品質に特徴空間を生成する独自の技術です。特徴空間の品質を上げることで「そのカメラがどの位置・姿勢にいるか？」を高精度に推定することを実現しました。

VPSは特徴空間を生成する事前工程とカメラの位置・姿勢を推定するリアルタイム工程の2工程に分かれます。従来技術では、事前工程において、3次元の特徴空間を生成する際に2次元情報の画像のみを使うため、空間中の同じ場所を違う視点から何度も撮影するなど、膨大な数のカメラ画像を用意する必要があります。またテクスチャ(撮影対象物の模様や柄)が少ないなどの画像特徴量の影響を受け、生成される特徴空間が歪みやすい傾向があります。特徴空間はリアルタイム推定の根拠となる情報であるため、特徴空間の品質が低いと推定精度も劣化してしまいます。
このように従来技術では、特徴空間の生成のために膨大なカメラ画像を用意する手間・時間がかかってしまう課題と、特徴空間が歪みやすくリアルタイム推定の精度が劣化しやすい課題がありました。

• 特徴空間を生成する事前工程において、従来技術と比較してカメラとLiDAR（Light Detection And Ranging）を組み合わせることで①少ないカメラ撮影・短時間で事前計測を実施できます。②歪みのない高品質な特徴空間を生成します。
• カメラの位置・姿勢を推定するリアルタイム工程において①従来技術よりも高い推定精度を実現します。②従来の利便性を損なうことなく、利用者はLiDAR不要であり、カメラがあれば利用できます。LiDARが必要なのは事前工程のみです。
• 本技術は空間全体を対象とするVPSです。特定の場所・スポットでしか使えないアンカー型VPSとは異なります。

• VPS活用のための 事前の空間撮影をより短時間で行うことができます。
• 空間に紐づいたAR（Augmented Reality：拡張現実）による体験(空間ナビゲーション、観光案内など)を実現できます。
• AR利用者ごとに違った位置にARコンテンツを視認させるのではなく、複数のAR利用者に共通の位置にARコンテンツを視認させる共有型のAR体験を実現できます。
• リアル空間とデジタルツインのVR(VIrtual Reality：仮想現実)空間を重畳させることで、リアル空間にいるAR利用者とVR空間にいるVR利用者との間で3次元的な空間探索・コミュニケーション(観光、ショッピング、オフィス、工場など)を実現できます。
• 屋内/外の広範囲を対象としたロボット・自動車の自律移動・自動運転に活かせます。

本技術は、一般にVPSと呼ばれる技術です。VPSは特定の物体にカメラをかざして使うアンカー型と、空間中のどこをかざしても使える空間型に分かれますが、本技術は空間型のVPSです。空間型のVPSは特徴空間を生成する事前工程とカメラの位置・姿勢を推定するリアルタイム工程の2工程に分かれます。
本技術では事前工程において、カメラ画像に加えて空間の超精緻な3次元形状情報を持つ点群を組み合わせることで、歪みのない特徴空間を生成します。点群とは、物体の3次元形状を表す点の集合体であり、LiDARと呼ばれる距離センサを使って計測した3次元の情報です。超精緻な3次元形状情報を持つ点群を活用することで、従来のように同じ場所を何度もカメラ撮影する必要が無くなり、カメラ撮影回数を大幅に削減しました。また歪みのない特徴空間を生成することでリアルタイム工程の推定精度を大幅に向上させました。なお、LiDARは特徴空間を生成する事前工程でのみ必要であり、利用者がVPSを利用するリアルタイム工程ではLiDARは不要です。利用者は従来通りカメラがあればVPSを利用できます。

LiDAR（Light Detection And Ranging）
計測対象物にレーザー光を照射して、その反射光の情報をもとに対象物までの距離を計測・センシングする技術
デジタルツイン
リアル空間から収集した物体の色・形状・寸法の情報やセンサ情報等から再現したリアル空間にそっくりなVR空間
SfM（Structure from Motion）
撮影対象物を様々な視点から撮影した複数のカメラ画像から対象物を3次元復元する技術

人間情報研究所　サイバー世界研究プロジェクト