1. HOME
  2. 電気・情報関連(専門)
  3. 研究情報(登録番号4061)

音や映像の変化に対する高度な耐性を備えた高速メディア探索技術の研究

  • 柏野 邦夫柏野 邦夫
  • 永野 秀尚永野 秀尚
  • 黒住 孝行黒住 孝行
ロバストメディア探索技術によるメディア照合の概念

図1 ロバストメディア探索技術によるメディア照合の概念

 近年,膨大な量の音や映像の収集,蓄積,流通が可能になっている.この有効活用のため,必ずしもメタデータのみには依存せず,コンテンツ自体に含まれる情報を抽出し,情報の検索や活用に供するための技術が重要である.その基本となる技術の一つは,事前に蓄積された情報,すなわち辞書との照合による信号解析である.しかし,従来は,音や映像に対してその内容に基づいて高速に照合,探索を行う技術の有効性は限られていた.特に,テキストの照合や探索に比べ,音や映像のデータの特性として,雑音,ひずみ,編集,加工などによってデータが容易に変化,変質することが,実用的な探索精度を実現する上での大きな問題であった.
 この問題に対し,受賞者らは,雑音,ひずみ,編集,加工などによって著しく変化,変質した音響信号や映像に対して,極めて頑健な探索を可能にする方法を考案した.ロバストメディア探索技術(RMS: Robust Media Search)と呼ばれるその方法は,①対象とする音響信号や映像における時空間的な局所領域に着目し,領域ごとにその特徴を粗量子化(2段階~数段階に数値化)した数値で表現すること,②その特徴表現の時空間的配置の整合性を利用して当該箇所における目的信号の存否を判定すること,を特徴とする.
 これらは現在では広く用いられている一般的な手法と言えるが,本技術の基本原理が考案された2000年代初頭においてはユニークな着想であった.当時,音や映像の探索においては各時刻の信号全体から導かれた特徴を用いるのが通例であり,上記①,②のアイデアや,音響信号に対して局所領域特徴を抽出して利用することの有効性は未開拓であった.
 上記の提案と,その後に積み重ねられた技術的工夫とによって,現在では音や映像に対して極めて頑健かつ高速な探索が実現されている.例えば,PC1台で数万時間分の信号(特徴)が蓄積されたデータベースを1秒未満で探索したり,SN比マイナス20dBに相当するごく小音量の背景音楽を高精度に特定することなどが可能である.
 現在,社会的要請もあり,本技術は幅広い領域で活用されている.例えば,著作権関連の応用では,短時間の使用や背景音楽としての使用も含めて,放送番組で使用された全楽曲の使用リストを作成し,権利者への使用料分配の基礎データとして利用することが行われている.本技術により,放送音と楽曲データベースとの照合に基づいて楽曲使用の自動把握が可能となったことで,著作権処理が従来に比べ大幅に効率化された.また,動画投稿サイトにおいて,違法投稿の検知などの目的でも本技術が用いられている.更に,スマートフォンなどでとらえた身の回りの音や映像を基にインターネット上の情報にアクセスすることなども可能となっている.
 以上述べたように,受賞者らの先駆的な業績は,音や映像メディアの制作,流通,視聴,活用,調査の各場面や,身の回りの音や映像による情報検索などの分野で重要な貢献をなしており,電子情報通信学会業績賞にふさわしいものである.


 本研究の成果に対して、電子情報通信学会は、2017年、柏野 邦夫(NTT)、永野 秀尚(NTT)、黒住 隆行(NTT)に電子情報通信学会 業績賞を贈った。

文献

(1) 永野秀尚,柏野邦夫,村瀬 洋,“多数の小領域スペクトログラムの探索に基づく背景音楽の高速探索法,”信学論(D),vol.J87-D-II, no.5, pp.1179-1188, May 2004.
(2) 黒住隆行,永野秀尚,柏野邦夫,“実環境で収録された映像断片をキーとする一致映像探索,”信学論(D),vol.J90-D, no.8, pp.2223-2231, Aug. 2007.
(3) K. Kashino, A. Kimura, H. Nagano, and T. Kurozumi, “Robust search methods for music signals based on simple representation,” Proc. ICASSP, pp.1421-1424, 2007.
(4) 柏野邦夫,“音響指紋技術とその応用,”音響誌,vol.66, no.2, pp.71-76, 2010.
(5) 柏野邦夫,黒住隆行,向井 良,“メディアコンテンツ特定技術の最新動向,”信学誌,vol.93, no.4, pp.340-342, April 2010.
(6) R. Mukai, T. Kurozumi, T. Kawanishi, H. Nagano, and K. Kashino, “Robust media search technology for content-based audio and video identification,” E-Letter of Multimedia Communications Technical Committee, IEEE Communications Society, vol.7, no.7, pp.13-16, 2012.

関連する研究を検索

分野のカテゴリ

放送
(マルチメディア情報処理)

関連する出来事

データなし

世の中の出来事

データなし

Webページ

データなし

博物館等収蔵品

データなし

キーワード

高速メディア探索、ロバストメディア探索技術、Robust Media Search
Page Top