絵本読み聞かせWebアプリを試作し、さきほどテスト評価を行いました。スマホで使うとあまりに意味不明な読み上げになってしまい、散々な結果でした。PCでは精度高く読み上げるのに・・・。
絵本読み聞かせアプリ概要
私の代わりに絵本を読んでくれるWebアプリです。普通のWebサイトと同じでブラウザで動きます。
カメラで撮影した絵本の文字を読み上げます。（絵本以外も読めます。）
核となる技術は、Cloud Vision API（OCR）と、Web Speech API、あとはカメラを使えるgetUserMedia APIとなります。
Webアプリはスマホ対応が難しい
レスポンシブWebデザインで作っており、スマホでもタブレットでもPCでも操作はできます。しかし、大きな問題が２つ。
- iPhoneでWeb Speech APIが機能しない（書き方が悪い？）
- 小さいスマホでOCR精度が低い
OCR精度が低いのは、Cloud Vision APIに渡す画像の解像度が低くなっているからだと思います。
処理としては、カメラ映像表示 → canvas転写 → BASE64エンコード → Cloud Vision APIに渡す流れで、このどこかのコーディングに問題がありそうです。
PCでは比較的優秀
スマホはダメですが、PCでは比較的正しく読み上げてくれます。
ごんぎつねの一節を読ませてみると、「ごん」が「こん」になっているくらい。
良い精度です。
ブラウザ依存との戦い
Webアプリは着手が簡単なのですが、最終的にブラウザ、OS依存との戦いになります。
ここからの道のりが長い・・・。
幸い、変な読み上げをするWebアプリを、長男が喜んで使っており、本来目的とは違いますが好評です。
本来目的で使えるよう、引き続き頑張ります。