謎の触覚出力器(画像認識でArduino制御)

カメラで撮影されたボールの位置を、見ないで指だけ(触覚)で分かるようにします。
(何のためにやっているかは省略)

・・・とりあえずOpenCVとNode.JSを使い、Webカメラで画像認識した結果をArduinoに伝えられるか試します。

ボールの位置に応じて鉄の棒が飛び出す

先に結果です。(子供と一緒に試しています。)

分かりにくいですが、右下で鉄の棒がピクピク動いています。

Webカメラで撮影している青いボールのX座標と連動しています。

全体像

下記の構成と流れで、実現しました。

Webカメラ・・・ボール撮影

OpenCV(Python)・・・ボール認識

JSON・・・座標書き込み

Node.JS(chokidar)・・・座標更新を感知

Node.JS(johnny-five)・・・座標に応じた電圧出力をArduinoへ

Arduino・・・リレー回路でソレノイド回路に命令を伝える

ソレノイド・・・ボール座標に応じて鉄の棒が飛び出す

 

広く浅い知識の組み合わせで、なんとかした感じです。

各項目をもう少し詳しく書きます。(逆順でソレノイドから)

ソレノイドを使った触覚出力器

まずは、ボール座標に応じて鉄の棒が飛び出す触覚出力器(?)を作ります。

見なくても触るだけで、ボールの位置が超おおざっぱに分かる機械です。

ソレノイドを4つ並べて、金具で固定します。

見ての通り1つの座標軸にしか対応せず、しかも4段階です。

100個くらいソレノイドを並べ、ボール座標を表そうと企てたのですが、現実的ではありませんでした。(専門家に聞いたところ、マトリクス制御で空気を使ったもっと賢いやり方を教えてくれました。)

私はそこまでスキルがないので、4つのソレノイドで試します。

Arduinoとリレー回路

9V電池とソレノイドを、リレーを挟んで繋げます。
(5Vソレノイドを使っているので変圧しました。)

リレーはArduinoのピン2~5番とつなぎ、ON/OFFを制御します。

Arduino(Nano)には、スケッチ例から Firmata > Standard Firmata を選び、書き込みます。

ケース作り

貧相な試作機を、少しリッチにしましょう。

土台の木を2つ並べてボンドでくっつけ、黒いスプレーで塗装します。

乾かすと、なかなかのツヤがでました。

それに電子回路を詰め込み、上からアクリルを被せます。

なんだか貧弱な機能に反し、すごそうな雰囲気が出てきました。

Node.JSサーバー

雑な説明ですが・・・

Johnny-FiveでArduinoを制御できるようにし、chokidarモジュールでJSONファイルの更新を感知できるようにします。

OpenCVで画像認識

ボールをOpenCVで認識させる方法は過去の記事参照

これに加え、ボールの座標をリアルタイムでJSONに書き出すよう改修しています。

とりあえず完成

ボールの位置に応じて、鉄の棒が飛び出す機械の完成です。

これでボールを見なくても、右か左かおおざっぱに指で感知できます。

私のスキルでは無理ですが、ピンアートくらい緻密に、三次元でボール座標を表現することを目指しています。

リレー回路でソレノイドを動かす

Arduinoでソレノイドを動かします。

前回、電流不足だったので別電源を使い、ソレノイドを動かしましたが、これだとArduinoのプログラムで制御できません。

リレーかトランジスタか

Arduinoで大きな電流が必要な部品を動かす手段として、リレーかトランジスタを使う方法があるようです。

リレーは別電源回路のスイッチを制御
トランジスタは電流を増幅

・・・というような、おおざっぱな理解でいます。

ソレノイドを動かすサンプルとして、トランジスタ「TIP 120」をよく見かけますが、すぐに手に入らず、リレーを使うことにしました。

リレー回路

写真左がリレーです。4つ制御できるタイプのやつです。

Arduinoの小さな電流をリレーに伝えると、大きな電流を扱う回路のスイッチが入るようになります。

小さい電流の回路→大きい電流の回路に伝えるということで、リレーと呼ばれます。

1秒ごとに飛び出す

プログラムはLチカとまったく同じです。

#define LED_PIN 2
 
void setup(){ 
 pinMode(LED_PIN, OUTPUT);
}
 
void loop() {
  digitalWrite(LED_PIN, HIGH);
  delay(1000);
  digitalWrite(LED_PIN, LOW);
  delay(1000);
}

2番ピンとリレーのINをつなぎ・・・
(GNDやVCCもつなぎますが、勘で分かるくらい単純です)

実行。

よし、動きました。

大きな電流を扱うときに

リレー回路は、直感的に分かりやすいので、気持ちが楽です。

リレーの知識があれば、前に扱いに困ったパワーLEDも制御できるようになります。

開発の幅が広がりました。

棒が飛び出すソレノイド

金属の棒が飛び出す部品が欲しくて探していたら・・・ありました。
「ソレノイド」というらしいです。

ソレノイドは単純構造

秋月で「ソレノイド 5V ZHO-0420S-05A4.5 プッシュ型」を購入しました。

電磁石で金属の棒が押し出され、電流を止めればバネで金属の棒が戻ります。
プラスもマイナスもなく単純な構造。

ただし、電気の逆流を防ぐため、ショットキーダイオードはセットで使われるようです。

電流不足で単純にはいかない

Arduinoの5Vにつないでソレノイドを動かしてみます。

・・・静かにArduinoの電源が落ちました。

動作に1.1Aくらい電流が必要みたいなので、足りません。

外部電源を確保

家庭用コンセントから5Vの電源を作ることにしました。

まずは動作確認のため、Arduinoにつながず、ソレノイドを物理スイッチで制御します。

写真右側、3端子レギュレータの裏に、スライド式のスイッチを設置。

スイッチを入れると、ソレノイドの棒が飛び出しました。

とりあえず動作確認はできましたので、次はArduinoで制御できるように組み替えます。

 

・・・なお、3端子レギュレータは非常に熱くなるので、これと隣接してスイッチを配置するのは、もはやトラップです。

スイッチを切り替えいるたびに熱いです。愚かな設計です。

コンセントから5V電圧を作る

家庭用100V交流電源のコンセントから、直流の5Vを作ります。

モーターを動かす時など、Arduinoで流せる電流(200mA?)程度では不足することがあるので、大きな電源を確保することにしました。

5VのACアダプターDCジャックを買えば解決のような気がしますが、手元にある部品でやってみます。

理解が浅いので、この情報は参考程度に・・・

使ったもの

今回は安定した電圧を供給してくれるACアダプターを使っているので必要ないですが、一応下記コンデンサーも使用。

  • 0.1μF セラミックコンデンサー ×2
  • 47μF 電解コンデンサー(100μF程度が良い?)

冒頭の写真のような回路になります。
電圧が安定しないACアダプターを挿した場合、コンデンサーは役立つかもしれません。

ちなみに、コンデンサーを刺さない場合、下記の写真のような単純な回路となります。

電圧は5V弱?

本当に5Vになっているか自信がないので測ります。

結果、コンデンサーがあってもなくても4.96V。

ちょっと低いですね。

個人的にはぜんぜん許容範囲なのですが・・・LEDを光らせると、電圧が下がったりするのでしょうか?

まあ、この電源で、5Vのモーターが動いてくれたので、良しとします。

現実とCGの連動 WebカメラとWebGL

Webカメラに映った赤いボールを認識し、WebGLで生成した赤いボールと連動させます。

うまく説明できないので、先に結果を・・・

球技をリアルタイムで3Dに置き換えるときなどに使えます。

環境・バージョン

Windows10
Python 3.6.1
OpenCV 3.3.1
Node.js 6.11.0

WebGL連動までの流れ

Python初心者が、できるだけJavaScriptとJSONでなんとかしたいと思ったら、こうなってしまいました・・・。

1.Webカメラでボール撮影

2.Python(OpenCV)でボールを認識

3.ボールの座標をJSONファイルに書き込み

4.Node.js(chokidar)でJSONファイル変更を感知

5.soket.ioで座標をブラウザに通知

6.ボール座標をWebGL(three.js)に取り込みレンダリング

 

今回は、流れを書くのみに留めます。