映像・3次元情報処理

技術カテゴリ紹介

実世界データとしての映像、音響、3D点群などのメディア情報の解析により、現実世界そのものをサイバー世界に射影し、時間・空間的に制御可能にする技術と、サイバー世界に射影された現実世界そのものを反映する超高臨場メタバースを活用して、距離や時差を超えたコミュニケーションを実現し、人の活動・能力の幅を拡張するための研究を行っています。

研究紹介

  1. 3D点群メディア処理技術
  2. 映像音響メディア処理技術

文献リスト

2024

2023

2022

2021

2024

国際会議

  1. Tomoyasu Shimada, Kazuhiko Murasaki, Shogo Sato, Toshihiko Nishimura, Taiga Yoshida, Ryuichi Tanida, "Memory-Efficient Point Cloud Registration via Overlapping Region Sampling", VCIP, 2024.

国内会議

  1. 黒住隆行, 山田翔大, 紺谷精一, 深津真二, "広域3Dシーン再構成のための並走する複数カメラによるカメラパラメータ推定の検討", パターン認識・メディア理解研究会, 2024.
  2. 倉田夏菜, 渡邊真由子, ウ小軍, 横張和也, 谷田隆一, "Neural Radiance Fields（NeRF）への異種センサ情報の重畳における学習方法の検討", CVIM研究会, 2024.
  3. 山田翔大, 黒住隆行, 深津真二, "複数の学習済みNeRFを組み合わせた双方向な3Dシーン編集", 電子情報通信学会総合大会, 2024.
  4. 武藤誠, "自転車競技における集団走行に着目した走行経路生成", 電子情報通信学会総合大会, 2024.
  5. 片山淳, 村崎和彦, 吉田大我, 谷田隆一, "SNNをもちいた数概念獲得実験方法の提案", 汎用人工知能研究会, 2024.
  6. 辻真彦, 松元崇裕, 横張和也, 谷田隆一, "非対称CVEにおけるリアル/バーチャル空間の重畳ずれがコミュニケーションへ与える影響の一考察", 第80回 サイバースペースと仮想都市研究会, 2024.
  7. 中嶋淳一, 深津真二, "リアルタイム4倍動画超解像の効率的モデルに関する検証", ヒューマンインフォメーション研究会, 2024.
  8. 中島靖之, 宮川和, 黒住隆行, 堤公孝, 槙優一, 武藤誠, 山崎哲朗, "自転車に搭載された複数カメラ・マイクに基づき映像・音響・振動の体感を実現する自転車走行体験システム", ヒューマンインフォメーション研究会, 2024.
  9. 菊地由実, 深津真二, "共行為感を表現するための視覚的・音声的表現方法および実験方法の検討", ヒューマン情報処理研究会, 2024.
  10. 矢野裕季, 深津真二, "多面プロジェクタを用いた床面への影提示による他者存在感提示", ヒューマン情報処理研究会, 2024.
  11. 黒住隆行, 山田翔大, 紺谷精一, 深津真二, "広域3Dシーン再構成のための画像選択による高速化手法", パターン認識・メディア理解研究会, 2024.
  12. 西村俊彦, 嶋田知泰, 久保宏一郎, 村崎和彦, 吉田大我, 谷田隆一, "階層的な粒度を考慮した点群データからの希少クラス認識に関する検討", 第30回 画像センシングシンポジウム, 2024.
  13. 村崎和彦, 谷田隆一, "深度画像高解像度化のための位置ずれを考慮したGuided Filter", 第30回 画像センシングシンポジウム, 2024.
  14. 倉田夏菜, 渡邊真由子, 伊藤大介, "透明物体の3D再構成におけるサーモグラフィ利用方法の検討", 第30回 画像センシングシンポジウム, 2024.
  15. 武藤誠, 宮川和, 深津真二, "自転車競技の走行経路生成における集団走行に着目した補正手法", スポーツ情報学シンポジウム, 2024.
  16. 深津真二, 峰晴彩, 宮川和, "自転車競技レースでの体感を再現するXRスポーツ空間生成", スポーツ情報学シンポジウム, 2024.
  17. 峰晴彩, 中島靖之, 宮川和, "映像・音響データを用いた多感覚提示方式による自転車走行体験システムの実装とその評価", スポーツ情報学シンポジウム, 2024.
  18. 菊地由実, 深津真二, "運動状態と非運動状態におけるユーザが感じる社会的存在感の検討", スポーツ情報学シンポジウム, 2024.
  19. 佐藤将吾, 金子卓弘, 吉田大我, 村崎和彦, 谷田隆一, 木村昭悟, "Unsupervised Intrinsic Image Decomposition with LiDAR Intensity", MIRU, 2024.
  20. 嶋田知泰, 村崎和彦, 吉田大我, 西村俊彦, 谷田隆一, "ORS : Overlapping Region Sampling for Efficient Point Cloud Registration", MIRU, 2024.
  21. 黒住隆行, 山田翔大, 紺谷精一, 深津真二, "広域3Dシーン再構成のための画像選択による高速化手法", MIRU, 2024.
  22. 阿部裕文, 西村俊彦, 村崎和彦, 吉田大我, 谷田隆一, "メタバース空間生成時における窓枠を手掛かりとした窓ガラスの認識と補完", MIRU, 2024.
  23. 紺谷精一, 黒住隆行, 深津真二, "大規模野外空間へのNeRF適用に関する検討", MIRU, 2024.
  24. 村崎和彦, 谷田隆一, "深度画像高解像度化のための位置ずれを考慮したGuided Filter", MIRU, 2024.
  25. 今泉健太, 宮川和, 深津真二, "映像情報を用いた音源分離による空間再構成", MIRU, 2024.
  26. 西村俊彦, 嶋田知泰, 久保宏一郎, 村崎和彦, 吉田大我, 谷田隆一, "階層的な粒度を考慮した点群データからの希少クラス認識に関する検討", MIRU, 2024.
  27. 山田翔大, 黒住隆行, 深津真二, "異なる撮影条件から学習された複数の3Dモデルを組み合わせた3Dシーン再構成", MIRU, 2024.
  28. 黒住隆行, 山田翔大, 紺谷精一, 深津真二, "広域3Dシーン再構成の主観評価による画質評価", MIRU, 2024.
  29. 青木政勝, 横張和也, 谷田隆一, "複数LiDAR計測環境におけるキャリブレーション作業の一検討", MIRU, 2024.
  30. 片山淳, 村崎和彦, 谷田隆一, "スパイキングニューラルネットワークを用いた自動概念生成", MIRU, 2024.
  31. 辻真彦, 横張和也, 谷田隆一, "リアル/バーチャル空間を重畳させる非対称CVEにおける空間の重畳ずれが与える影響の一考察", MIRU, 2024.
  32. 佐藤将吾, 山口真理子, 村崎和彦, 吉田大我, 谷田隆一, 金子卓弘, 土田勝, "Evaluation Metrics for Real-World Intrinsic Image Decomposition", MIRU, 2024.
  33. ウ小軍, 横張和也, 谷田隆一, "分割階層的平面モデル推定による大規模3D点群の構造解析", MIRU, 2024.
  34. 中嶋淳一, 深津真二, "リアルタイム4倍動画超解像の効率的モデルに関する検証", MIRU, 2024.
  35. ウ小軍, 横張和也, 谷田隆一, "複雑環境におけるロボット走行パスの自動生成技術", 電気音響研究会 音響・超音波サブソサイエティ合同研究会, 2024.
  36. 今泉健太, 宮川和, "グループスパース制約を用いた雑音除去の検討", FIT, 2024.
  37. 宮川和, 武藤誠, 峰晴彩, "リモート選手から取得されるGPSデータに基づくリアルタイム自転車レース体験システム", 映像情報メディア学会 冬季大会, 2024.

その他

  1. 佐藤将吾, 吉田大我, 谷田隆一, "天候や日照条件に左右されない街本来の「真の色」を推定する技術", 画像ラボ 2024年1月号, 2024.

2023

論文

  1. Shogo Sato, Yasuhiro Yao, Taiga Yoshida, Shingo Ando, Jun Shimamura,  "Shadow Detection Based on Luminance-LiDAR Intensity Uncorrelation", IEICE Transactions on Information and Systems, 2023.

国際会議

  1. Shogo Sato, Yasuhiro Yao, Taiga Yoshida, Takuhiro Kaneko, Shingo Ando, Jun Shimamura, "Unsupervised Intrinsic Image Decomposition with LiDAR Intensity", CVPR, 2023.

国内会議

  1. 堤公孝, "全天球画像とアンビソニックスを用いた音源分離", 立体メディア研究会, 2023.
  2. ウ 小軍, 谷田 隆一, 島村 潤, "階層構造に基づく大規模3D点群データのインタラクティブ可視化", 映像表現・芸術科学フォーラム, 2023.
  3. 菊地由実, 井元麻衣子, 深津真二, "コンテンツ視聴における社会的存在感の検討と評価", ヒューマン情報処理研究会, 2023.
  4. 井元麻衣子, 菊地由実, 深津真二, "複数の視聴覚刺激の時間ずれが視聴覚統合の時間窓に与える影響", ヒューマン情報処理研究会, 2023.
  5. 松元崇裕, 千明裕,望月崇由, "高密度な色付き3次元点群空間における欠損部の自動補完手法について", PRMU, 2023.
  6. 塚谷俊介, 杉本祐樹, 吉田大我, 島村潤, "点群セグメンテーションのための物体内部点を用いた境界領域の対照学習手法", 第29回画像センシングシンポジウム, 2023.
  7. 青木政勝, 阿部直人, 小長井俊介, 島村潤, "空中写真から抽出した地物形状の補正", 第29回　画像センシングシンポジウム, 2023.
  8. 倉田夏奈, 渡邊真由子, 谷田隆一, 島村潤, "サーモグラフィとRGB画像の統合処理に向けたNeRFの応用”, MIRU, 2023.
  9. Shogo Sato, Yasuhiro Yao, Taiga Yoshida, Takuhiro Kaneko, Shingo Ando, Jun Shimamura, "Unsupervised Intrinsic Image Decomposition with LiDAR Intensity", MIRU, 2023.
  10. 辻真彦, 松元崇裕, 吉田大我, 千明裕, "カメラと3D-LiDARを活用した画像による自己位置推定手法の提案”, MIRU, 2023.
  11. 松元崇裕, 千明裕, 望月崇由, "高密度な色付き点群の欠損補完手法と点群彩色DNNの学習方法に関する比較検討”, MIRU, 2023.
  12. ウ小軍, 谷田隆一, 島村潤, "大規模3D点群データの階層的構造解析", MIRU, 2023.
  13. 青木政勝, 阿部直人, 小長井俊介, 島村潤, "空中写真から抽出した地物形状の補正", MIRU, 2023.
  14. 小長井俊介, 阿部直人, 吉田大我, 谷田隆一, "DNN建物抽出結果の整列化効果検討報告", MIRU, 2023.
  15. Shogo Sato, Yasuhiro Yao, Taiga Yoshida, Takuhiro Kaneko, Shingo Ando, Jun Shimamura, "Unsupervised Intrinsic Image Decomposition with LiDAR Intensity", FIT, 2023.
  16. ウ小軍, 谷田隆一, "大規模3D点群データから高精細移動経路検出手法", FIT, 2023.
  17. 井元麻衣子, 菊地由実, 深津真二, "ユーザの各種動作時における映像と音の時間ズレが視聴覚統合に与える影響の検討", ヒューマン情報処理研究会, 2023.
  18. 紺谷精一, 黒住隆行, 深津真二, "大規模野外空間へのNeRF適用に関する考察", パターン認識・メディア理解研究会, 2023.
  19. 中嶋淳一, 深津真二, "リアルタイム4倍動画超解像の効率的モデルに関する検証", 映像情報メディア学会冬季大会, 2023.
  20. 山田翔大, 黒住隆行, "複数条件から作成した学習済みNeRFを組み合わせた3Dシーン再構成", 映像情報メディア学会冬季大会, 2023.
  21. 宮川和, 中島靖之, 千石大樹, "ペダル操作に連動したWebRTCを用いたリアルタイム自転車走行体験システム", 映像情報メディア学会冬季大会, 2023.
  22. 堤公孝, "音源分離と深度推定を用いた音響空間再構成", 映像情報メディア学会冬季大会, 2023.
  23. 堤公孝, "画像と時系列音響情報を用いた音源分離", 映像情報メディア学会冬季大会, 2023.

その他

  1. 谷田隆一, 吉田大我, "サイバー空間の空間表現性を高める点群メディア処理技術", 通信ソサイエティマガジン 67号, 2023.

2022

論文

  1. Kazuhiko Murasaki, Shingo Ando, Jun Shimamura, "Semi-Supervised Representation Learning via Triplet Loss Based on Explicit Class Ratio of Unlabeled Data", IEICE Trans. Inf. Syst., 2022.
  2. Kana Kurata, Yasuhiro Yao, Shingo Ando, Naoki Ito, and Jun Shimamura, "Aggregative Input Convolution for Large-scale Point Cloud Semantic Segmentation", IIEEJ Transactions on Image Electronics and Visual Computing, 2022.

国内会議

  1. 八尾泰洋, 石川涼一, 安藤慎吾, 島村潤, 大石岳史, "LiDARと多視点ステレオのEarly Fusionの一検討", 3次元画像コンファレンス, 2022.
  2. 黒住隆行, 芹澤優花, 長谷川馨亮, 深津真二, "ライブ配信イベントに参加する複数のリモート観客の映像同期の検討", 画像工学研究会, 2022.
  3. 今泉健太, 堤公孝, "セマンティックセグメンテーションを活用したインペインティング",画像電子学会年次大会, 2022.
  4. 堤公孝, "大規模スピーカアレイを用いた音響ホログラフィの応用", 映像情報メディア学会年次大会, 2022.
  5. 小長井俊介, 阿部直人, 青木政勝, 島村潤, "標高データを利用した空中写真からの建物抽出", 画像電子学会年次大会, 2022.
  6. 羽田理恵, 今泉健太, 堤公孝, "広域での空間音響再現のための音響プロキシ", 立体メディア技術研究会, 2022.
  7. 堤公孝, 今泉健太, "全天球画像を用いたモノラル信号からの空間音響生成", 立体メディア研究会, 2022.
  8. 片山淳, 安藤慎吾, 島村潤, "STDPの学習への貢献", 汎用人工知能研究会, 2022.
  9. 片山淳, 吉田大我, 島村潤, "位相シーケンサによる概念生成", 汎用人工知能研究会, 2022.
  10. 塚谷 俊介, 杉本 祐樹, 伊藤 直己, 島村 潤, "幹推定に基づく欠損領域を含む点群樹木検出手法", 画像電子学会研究会, 2022.
  11. 今泉健太, 堤公孝, "スペクトログラム画像に対するインペインティングによる突発音除去", 映像情報メディア学会冬季大会, 2022.
  12. 杉本祐樹, 塚谷俊介, 伊藤直己, 吉田大我, 島村潤, "3次元点群の柱状物体インスタンス化における過分割・過検出抑制手法", 映像情報メディア学会冬季大会, 2022.

その他

  1. 八尾泰洋, "LiDARとその特徴", 映像情報メディア学会誌, 2022.

2021

論文

  1. Yasuhiro Yao, Ryoichi Ishikawa, Shingo Ando, Kana Kurata, Naoki Ito, Jun Shimamura, Takeshi Oishi, "Non-Learning Stereo-Aided Depth Completion Under Mis-Projection via Selective Stereo Matching", IEEE Access, 2021.
  2. Motohiro Takagi, Kazuya Hayase, Masaki Kitahara, Jun Shimamura, "Building Change Detection by Using Past Map Information and Optical Aerial Images", IEICE Trans. Inf. Syst. , 2021.

国際会議

  1. Kana Kurata, Yasuhiro Yao, Shingo Ando, Naoki Ito and Jun Shimamura, "Aggregative Input Convolution for Large-Scale Point Cloud Semantic Segmentation", IEVC, 2021

国内会議

  1. 千明裕, "新しいスポーツ観戦体験創造のための取り組み", 第24回CSシンポジウム, 2021.
  2. 佐藤将吾, 八尾泰洋, 安藤慎吾, 島村潤, "LiDAR光反射強度に基づいた日影領域検出補正技術の提案と実証", パターン認識・メディア理解研究会, 2021.
  3. 堤公孝, "球面調和級数展開を用いた多視点映像生成におけるニューラルネットを用いた画質改善", 立体メディア研究会, 2021.

その他

  1. 八尾泰洋, 石川涼一, 安藤慎吾, 倉田夏菜, 伊藤直己, 島村潤, 大石岳史, "単一時刻の計測からのターゲットレスなステレオカメラと3D LiDAR間の外部キャリブレーション", 画像ラボ, 2021.

表彰

  1. 先進映像協会 ルミエール･ジャパン･アワード2021 3D部門 グランプリ：文化庁, IMAGICA GROUP, NTTコミュニケーションズ, 日本電信電話, さらい, IMAGICA エンタテインメントメディアサービス, ”発見！南極に恐竜がいた！ Hidden Stereo Ver”, 2021.