これまで携帯電話やポータブルミュージックプレーヤや携帯型ゲーム機などの携帯端末ではバイブレーション・振動感覚を表現することは出来ましたが，「牽引力」（引っ張ったり押したり）を表現することはできませんでした． この理由は，力覚（手応え）を生成するためには支点が必要となりますが，携帯端末はどこにも固定されていないため，空気噴流や磁力を使う以外に物理的に実現することが不可能でした．

そこで，われわれは人間の感覚特性，非線形性を利用して擬似的に牽引力を錯覚させる手法を提案しています．非線形性とは単純な比例の関係にはない，ということです．一般に物理的に２倍の量となっても，人間がそれを感じる量が２倍になるとはは限らない（つまり，人間の知覚が非線形特性を持っている）ことが知られています．

 

人間は速い動きには敏感である一方，遅い動きは知覚しにくい，という特性を利用できないか，という考えのもと， 「短時間の大きな加速度」と「長時間の小さな加速度」を周期的に繰り返す装置を作成しました．この装置は物理的には2方向（たとえば前と後ろ）に力が発生しますが，この装置を持つと上述の非線形性により，1方向の力として知覚してしまいます．

 

そのため，「ぶるなび」は，これまで開発されてきた力覚提示装置とは異なり，環境に固定したり (例えばPHANToM, SPIDARなど)，角運動量を利用してトルクを提示したり(ジャイロ効果など)ということは行いません．これまでにない，人間の知覚特性を利用した，新しい力感覚の提示手法です．

Buru Navi (Laval Virtual 2007 GrandPrix)

物理量とそれを知覚する量とには非線形の関係がある

往復で大きさの異なる非対称な加速度（偏加速度＝造語）を作り出す機構と，その加速度グラフ

「ぶるなび」初号機

SIGGRAPH 2006 で配布したフライヤー

SIGGRAPH 2006
(two-dimensional version)

提案している手法「ぶるなび」では一方向への牽引力感覚を作り出すことができました． しかし，カーナビのような機能で人間を力でナビゲーションしてくれるシステムを考えるとき， 平面内のあらゆる方向へ牽引力感覚を作り出すことが必要です．

平面内に牽引力錯覚を提示してナビゲーションが可能かを インタラクティブ作品「初心者ホールスタッフのための賢いサーバートレイ」を制作し，その体験型展示を通じて評価しました． その結果，海外での実演展示のように日本語圏ではない体験者(英語圏とフランス語圏)でも直感的に方向が分かり，言語を介さないでも経路へ誘導できることが示唆されました．

上記のインタラクティブ作品では，まだ大きなサイズ・重量ではありますが， 携帯電話に組み込めるような大きさのモジュールになれば，現行の振動モータの代わりになると期待されます．

本システムは体験者が両手で把持するトレイ ( 約750 g)，バッテリーおよび制御回路が入ったバッグ( 約300 g)，および赤外発光LED と広角カメラを用いた画像処理による距離姿勢方向検出システムで構成されました．また，トレイには「ぶるなび」装置，および力覚提示の方向 変換機構が組み込まれていました．

「ぶるなび」装置が取り付けられたター ンテーブルと，ステッピングモータ(KH42HM2-851; 日本サーボ株式会社) に取り付け られたプーリにそれぞれベルトが係合し，ステッ ピングモータに入力する駆動パルスの数をマイク ロコンピュータ(PIC18F2525) が制御することで提示する力の方向を制御しました．その方向は，画像処理による姿勢検出システムを基に目標物の方向を「ぶるなび」装置が向ように決定されました．

Demonstration in France

Demonstration in Singapore

視覚障がい者が安全かつ安心して移動するための基本情報として「orientation」と「mobility」があります．移動中に方位がわからなくなったときには，誰かに尋ねればよいのですが， 災害時（環境の状況が変わったとき）や緊急時（サイレンが鳴っているとき）には情報を得ることが難しくなります．

そこで，視覚障がい者が携帯できるサイズの機器で， 災害時に避難方向を「手を引いて」教えてくれる方位提示装置を開発しました． 具体的には，「ぶるなび」を応用し，小型軽量化・多自由度化・静音化などの課題を解決し， ナビゲーションシステム等の経路情報を提示し道案内する機能を実装しました．ここでは４つの振動モジュールがそれぞれ東西南北を向くように配置し，それぞれを切り替えることで方向を提示するような方法を採用しました．力ベクトルを同期させて合成することでたとえば北西のように斜めにも提示することでき，全部で8方位を提示することにしました．装置には地磁気センサ・ジャイロセンサも取り付けられています．

「ぶるなび」を利用した方向誘導への発展を模索するため ，視覚障がい者を対象とした歩行誘導実験を実施しました． 京都市消防局，京都府盲学校の皆様の協力のもと，体育館に模擬街路を敷設しました． 歩行誘導実験結果から，２３名のうち２１名が事前のトレーニングなしで歩行誘導ができることが判明しました．提案手法によって聴覚情報が遮断された状態でも，牽引力の情報をもとに設定された順路にナビゲーションができることが示されました．

私たちは，体重計や秤のように物の重さを正確に感じ取ることはできません．たとえば，重量が同じで，大きさの異なる物体を交互に持ち上げるとき，小さな方が重く感じられます．これはシャルパンティエ効果(Size-weight illusion)と呼ばれ，両者の重量が同じであることを知っていても，ひきつづきこの錯覚が生じるほど強いことが知られています．ほかにも物体の温度や色，「重い」と書かれること（トップダウン的に関与する）などで重量錯覚が生じることも報告されています．

私たちは物体の物理的な質量を操作することなく，重力方向に振動させることで物体の重量が変化したように知覚させる力感覚のAR（Augmented Reality）に関する力覚提示手法を検討しました．ある物体に 重力方向で強度の大きく異なる非対称な振動運動をさせるとき，大きな加速度が生じる向きに応じて，その物体が本来より重く，あるいは軽く知覚される現象(重量錯覚)が生じるか，を調べました． 実験では振動パターンの異なる2箱（非対称振動＝標準刺激，と単振動＝比較刺激）の総重量を変化させ，それぞれを1つずつ順番に持ち上げる重量比較パラダイムを用いて，錯覚される重量変化の大きさの主観的等価点(point of subjective equality, PSE) を計測し，算出しました．

実験結果から，鉛直下向き( 鉛直上向き) に非対称振動する物体の重量は，その向きに応じて物体の本来の重量よりも増加(減少) して知覚されることが明らかになりました．また重量が増加する錯覚に比べ，重量が減少する錯覚は効果が小さくなることが明らかになりました．この非対称性に関するメカニズムについてはまだ完全に明らかになっていませんが，一つの原因として重力加速度と非対称振動の加速度の総和である見かけの重力加速度と，知覚神経メカニズム（充填）の影響が考えられます．

２つの振動する箱を順に持ち上げ，重いと感じた方を回答する実験を行いました．

 

非対称振動と対称振動の物体の重量比較実験の心理物理曲線

時間の長さやタイミングの知覚は人間の活動において欠かせません． 発話，音源定位，運動生成などの行動はその一例ですが，これらの多くは明確な時間のエンコードを必要としません． 一方，意識して事象の経過時間を測るような時間知覚においては，より明確な表象が必要となります． しかしながら，このような時間知覚についての十分な知見を我々はまだ得ていません．

視覚モダリティにおいては高い時間周波数に順応すると提示される刺激の時間間隔が短く知覚されることが知られています．この順応は主に視覚の低次の領域が関わっていると考えられています． そこで，本研究では触覚における時間知覚の情報処理機構を順応パラダイムを用いて調べました．視覚には，定常系sustained (parvocellular)と過渡系transient (magnocellular)がありますが，触覚にも同様に定常系sustained (SA)と過渡系(RA)があります．

我々は比較的高い周波数の振動の順応によって皮膚に提示された振動時間間隔が短く知覚されることを示しました．この実験結果は人間の時間知覚が視覚と触覚で同様の時間感覚チャネルの順応によって起こることを示唆しています．

Universal clock? Distributed?

Experimental procedure

民生用３Ｄテレビが市場に提供され始め，立体（３Ｄ）表示への関心が高まりつつあります．現在の３Ｄ映画等における
立体視体験は，様々なコンテンツが作り出され，以前よりはるかに洗練されたものとなっています．一方で，わたしたちが実環境で得ている現実感は，そうした視覚情報のみならず，全てのモダリティ（いわゆる五感情報）によってこそ，正真の現実と確信して疑わない感覚となっています．

 

共同研究グループ（代表：首都大学東京，共同：NTT，東京大学）では，多感覚ディスプレイの開発に関して新規にプロジェクトを開始し，最適な組み合わせのマルチモダリティシステムから新しい臨場感を提示するディスプレイの要素技術の開発を目指しています．ここでは，要素技術の実証のためのシステムを五感シアター(FiveStar: Five Senses Theater) と呼んでいます．類似の言葉にホームシアターというのがありますが，このホームシアターのように家庭で体験できるようなシンプルで最適化されたものを想定しています．五感シアターは視覚や聴覚だけでなく，嗅覚や触覚，体性感覚，前庭感覚などの五感への刺激を生成するものであり，革新的な統合超臨場感体験を生成することを長期的な目標としています．五感シアターの要素技術として，立体視ディスプレイ，空間音響，力覚/触覚ディスプレイ，風・香りディスプレイ，前庭感覚ディスプレイなどがあり，それらを統合する観点に 注目しています．

 

 

これまでに首都大学東京の池井研究室を中心に試作機を制作し，実演展示を行ってきました．

[reference]

システムの概要

前庭電気刺激(galvanic vestibular stimulation: GVS)は両耳の後ろに電極を貼り，一方向から他方へ微弱電流(2mA程度)を流したときに，電極のアノード側にバーチャルな加速度を生成させることが可能な電流刺激方法です． その電極（および電流刺激装置）を装着した歩行者は直進して歩いているつもりでも，電流刺激によってアノード側に体が動いてしまうことがFitzpatrickらによって報告されています．原理としては100年以上前から知られています．

Fitzpatrick, R.C., et al.(1999): Effects of galvanic vestibular stimulation during human walking. J. Physiol., 517(3): 931-939.

 

電気性身体動揺検査（GBST）と呼ばれる，耳の後ろに電気刺激を加えると身体が一方に傾く現象を利用した検査も行われています． この現象は右耳へ正方向の電流を流すと，身体は右側に傾き，左耳へ正方向の電流を流すと左側に傾くというもので，カロリックテストの代用として用いられることがあるようです．

前庭感覚刺激を視聴覚などの他の感覚と組み合わせることによって没入感・臨場感の向上が可能かを調べるシステムを実装しました． カーレーシング・シミュレータ(TorcsのLinux版ソースを一部改造)において，コーナーを曲がる際の加速度感をGVSによって生成して， シミュレーション中に車にかかる左右方向の加速度に比例した電流量を体験してもらいました．また，前庭感覚刺激の交流刺激を与えると 周波数によっては体が揺らされているように感じたり，逆に世界が揺れているように感じたりするため，こうしたデモも作成し，オープンハウス等で実演展示しました．

SIGGRAPH 2005 (human remote control)

SIGGRAPH 2005 (racing video game). Feel the "G" (centrifugal force) in the corners.

SIGGRAPH 2005, (synchronization with music rhythm: Shaking the World)

視覚と聴覚に重複の障がいのある視聴覚障がい者（盲ろう者，日本国内に2万人と推定されている）はコミュニケーションにおいて主に触覚を用いています． 指点字はそのコミュニケーション手段の一つであり，６点点字のドットを両手の６指に対応させ，点字１マスを１回の打鍵で伝え，時系列で文章を伝える方法です． 習熟者になると会話と同じくらいの速度で意思伝達が可能となります． これまでにも指点字デバイスはいくつか開発されてきましたが，持ち運びが困難な重厚長大な据置型や，日常生活で常時装着することを前提に考えられていない形状にとどまっていました．

そこで，日常生活で常時装着することができる形態をめざし，常時装着できる指点字インタフェースを開発しました．この開発においては，視聴覚障がい者との「装置試作→評価→装置試作→評価→…」のフィードバックループを重視し， 試作と設計を繰り返しました． 指点字を電子的に実装するにあたり，下記のようなユーザスタディの結果が得られ， 腕時計型コンピュータWatchPadを使ってウェアラブルPCから手首までのワイヤレス化を実現しました． また，点字の情報（バーバル情報）だけでなく，歩行支援のために方位情報のようなシンボル情報も伝えられないかを調べました．

【装着形態】
・手袋型…装着が容易だが，指先や手掌の感覚が得られない， 指先や手掌の空いた形状の手袋もあるが，駆動部分の振動や衝撃などの伝播の影響を受けやすい， 衛生面にも問題
・指輪型…触覚受容器の集中した指先や手掌を覆わない

→指輪型を採用

 

【アクチュエータ】
・振動型…小型振動モータ(無負荷の振動周波数が116 Hz, TPC社CM05J)
・打鍵型…チューブラソレノイド(新電元社S-50S03)，単発パルスで駆動

→盲ろう者による文字の識別実験の結果，ソレノイドを用いた装置より小型振動モータの方が正答率の高かったため，小型振動モータを採用

【接続形態】
前述の試作器では，パラレルポート接続やUSB 接続．

→腕の動きの自由度に対する不安感，不快感を受ける（視聴覚障害者は手や腕を積極的に動かすため）

→両手に装着された指点字インタフェースと，ウェアラブルコンピュータ間を近距離無線技術Bluetooth により無線化した試作機を開発．

 

【無線化に伴う遅延の知覚評価】
ウェアラブル指点字インタフェースを無線化することによって，ノイズなどにより両手間の刺激信号のランダムに発生する遅延は避けられない． 仮にこのような遅延が生じても，人体の両手間の時間弁別閾がその遅延時間以内であれば文字情報の認識の際に問題は生じない． そこで，無線LANとBluetooth の2.4 GHz ISM バンド域の干渉の影響などにより両手間の刺激信号にランダムに発生する通信の遅延と， 人体の両手間の刺激の時間的な弁別閾をそれぞれ計測し，心理物理学的に評価しました．

本システムにおけるオンセットの時間弁別閾は約35 ms
オフセットの時間弁別閾は約55 ms

一方，両手間のBluetooth の通信遅延は，実測によると99.68 % が4 ms 以下，99.98 % が30 ms

→両手間の振動刺激の同時性は保持

【謝辞】
本研究は雨宮が東京大学の廣瀬通孝研究室在籍時代に遂行された研究成果です．東大先端研の福島智先生，伊福部達先生，東京盲ろう者友の会の皆様の貴重なご意見とご協力のもと，遂行されました．

Finger-Braille Interface

Finger-Braille was invented for the Deaf-Blind to communicate in real time in Japan, and it became one of the commonly used communication methods among Deaf- Blind people in Japan. In Finger-Braille method, the index finger, middle finger, and ring finger of both hands function like the keys of a Braille typewriter. A sender dots Braille code on the back of fingers of a receiver as if typing on a Braille typewriter.

Some examples of the translation are shown in the table below. Regardless of the language, Braille systems consist of 6 dots; the pattern for "na" under the Japanese Braille system is the same as "K" under the English one. Therefore it is easy to translate Braille into Finger-Braille under all languages. The Finger-Braille method enables Deaf-Blind people to obtain textual information as if they are listening in real time.

Wearable Finger-Braille Interface with WatchPad (a Linux-based watch)

コンピュータの小型化軽量化はどこでも計算機が使えることを当たり前にしました．モバイル（＝移動体）コンピューティングでは入力インタフェース，特にテキスト入力は重要な技術的課題の一つです．なぜなら，単に据置型の入力インタフェースを小型化してもそのまま有効に使えるとは限らないからです． たとえばQWERTYキーボードがそのまま採用されても，キー数や大きさから使いにくくなります．

一方，コードキーボードと呼ばれる，ピアノの鍵盤で和音（コード）を弾くときのように同時に複数のキーを押すことで一つの文字を入力する方法を採用したデバイス（Twiddlerなど）が開発・提案されていました． そこで，点字入力そのものがコードキーボードであることに着目し，縦笛のように両手で，立ったまま，歩きながらの姿勢で入力できる装置として筒型の点字入力インタフェースOBOEを開発しました．

 

これに取り組んだ背景には，情報技術が障がい者へどのような貢献ができるかという観点からの研究は非常に多いにもかかわらず，これとは逆に障がい者の生活に根付いている技術や文化を利用して，情報技術の発展をはかるという方法論のもとに遂行された研究例は非常に少ないことを私が感じていたことが挙げられます．

入力部品にも選定を工夫しました．明確なクリック感をユーザにフィードバックするメカニカル式のキースイッチを用いたため，ユーザは入力動作を直観的に確認することができます．たとえばタッチパネルでは「触感フィードバックの無さ」から，入力確認が難しいことが知られており，敢えてカチカチと音のするキーを使いました．

 

OBOEの評価として，点字未習得者の学習効果の実験，および習熟者モデルとみなせる指点字通訳者の入力速度，誤入力率の計測実験をそれぞれ行いました． これらの評価実験の結果から，習熟後には高速な入力が可能であることが実験結果から推察されました． さらに，アンケートの結果も合わせて，従来の点字タイプライタとの比較，最適なキー配列，把持の姿勢についても考察しています（詳細は論文をご覧ください）．

 

また，指点字通訳者2名はかなり高速な入力ができ，平均入力速度は1分間あたり112.4マス相当（点字のマスの数），誤入力率は3.59 %でした． 指点字通訳者はほとんど練習なしでOBOEを使用してこの結果が得られ，指点字通訳の経験者にとっては非常に高速に入力できるデバイスであると言え，さらに点字入力経験者においても同様の結果が得られると予想されます．

【謝辞】
本研究は雨宮が東京大学の廣瀬通孝研究室在籍時代に遂行された研究成果です．

OBOE = Oboe-like Braille interface for Outdoor Environment

Result of experiment

OBOE with wearable Finger-Braille interface