• 顕著性に基づく人間の視線移動を、初めて確率的にモデル化しました。
• 動的ベイジアンネットワークを用いたモデルにより、入力された映像 のみから、その映像中のどの箇所に注目しやすいかを自動的に推定 できます。
• サンプリングに基づく事後確率推定により、GPU上に実装可能となり、 ほぼリアルタイムでの動作を実現しました。

人間は、視覚的注意と呼ばれるメカニズムにより、網膜に写る映像の中 から重要と思われる情報を瞬時に判断して、効率的に情報を獲得して いる。これら人間の初期視覚特性を計算機上で模擬することで、人間と 同様に重要度に応じて情報を能動的に取捨選択する人工的な視覚 システムの構築が期待される。

顕著性及びそれに基づく視覚的注意の計算モデルに関して、Koch and Ullman (1985), Itti, Koch and Niebur (1998), Leung et al. (2007) など数多くの研究がなされている。しかし、いずれのモデルも致命的 かつ重大な問題点を内包している。すなわち、入力される映像に対して 決定論的に各位置の顕著度が算出され、各時点において顕著度が最も 大きな位置に人間の視線が向けられることを仮定している。このこと は、同じ映像を見ても視聴する人によってもしくは視聴するタイミング によって視線の向けられる位置が異なるのが自然であるとする人間の 直感と、明らかに矛盾する。

本研究では、上記のような人間の視線移動における確率的な挙動を モデル化するために、動的ベイジアンネットワークを用いた視覚的 注意の確率的計算モデルを開発した。複数の統計モデルを組み合わせた 4層のネットワークにより、

1. 入力された映像のみから、その各時点・各位置に視線が 向けられる確率を導出することが可能である。
2. その映像を視聴した際の視線位置の系列があらかじめ得られている 場合には、その系列を学習データとして、ネットワークのモデル パラメータをEMアルゴリズムにより推定することも可能である。
3. マルコフ連鎖モンテカルロ法を用いた粒子フィルタ (MCMC-based particle filter) の導入により、GPUなど並列演算可能なデバイス を用いたstream processingへの適応が可能となり、ほぼリアル タイム (70 msec/frame @ 640x480 pixels) で動作する。

人間の注視点に対する一致性という観点において、提案の確率モデル が、従来の決定論的アルゴリズムと比較して有意に優れた性能を示す ことが確認された。

（左）入力映像、（右）視線位置確率密度映像
（右白模様、左黒模様） 提案モデルによる推定結果（白に近いほど視線が向く確率が高い）