Leap Motionで手話はできるか?

Leap Motionで空中スワイプを作っていましたが、このセンサーを買った当初の目的は、手話Vチューバーを作ることでした。

手話で挨拶すらできない

バーチャルアバターを作れるソフトfecerigを使って、手話Vチューバーを作れるか試しました。

まずは挨拶をやろうと思います。

右手人差し指と、左手人差し指で、お辞儀をするように曲げて・・・

う・・・う〜ん。曲がらん。

左手(アバターの右手)の親指は立つし、右手の人差し指は曲がらないし。

ダメだ!断念しました。

手話Vチューバーを作りたかったのは

イベントや仕事で、稀にろう者と会うことがあるのですが・・・私は全然手話をできません。挨拶とかお礼とか、わずかな単語しか分かりません。

そんな感じなので、遠隔で手話通訳をしてくれるサービスがあったらいいなと思い、調査していました。

その時流行りだったVチューバーにたどり着き、アバターが手話をできないか知りたくなり、手軽で安価に実現できそうなfecerigとLeap Motionを購入して検証していました。

福祉としての手話通訳サービスだと、利用する場面が限定されそうなので、エンタメ寄りな手話サービス、手話Vtuverがいると良い気がします。

私から見ると、手話の使い手は、手の動きのパフォーマーに見えます。

Webカメラ+Leap Motionで上半身キャプチャ

技術の話でです。

fecerigはWebカメラを使い、表情を3Dアバターに反映させることが出来ます。

さらにオプションでLeap Motionを接続すると、手も動かせるようになります。

体に何も付けないで、モーションキャプチャができる手軽さは素晴らしいと思います。

反面、精度の高いキャプチャは望んではいけないでしょう。

手話は難しいという結論になりました。

透明スクリーンに映そう

最後に余談ですが、透明スクリーン(ポリッドスクリーン)に映して遊んでみました。投影が中途半端で美しくはありません。

大雑把な動きだったらキャプチャできるので、身振り手振りで雰囲気を伝えることなら、Leap Motion+fecerigで問題なさそうです。

“Leap Motionで手話はできるか?” への2件の返信

  1. 初めまして、記事今拝見しています。
    昨日、同様のことを思い付き格闘している最中にこの記事に辿り着きました。
    4月から手話を始めた入門者です。
    アバターを動かす自体全くの素人なので闘いです。
    その後、進展ありましたでしょうか?

    1. コメントをありがとうございます。
      手話アバターは断念してしまい、有用な情報提供はできず、すみません。
      この記事は4年前で、当時よりセンサーや画像認識技術は進歩しているかもしれません。
      技術の進歩を祈ります。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)