Google のキーボードアプリ「Gboard」において、手話のジェスチャーをカメラで読み取り、テキストに変換する新機能「Sign-to-Text」が開発中であることが分かりました。
これは Android Authority が Gboard のベータ版（バージョン 17.8.3.939743344-beta-arm64-v8a）のコードを調査したことで、Sign-to-Text の導入を示すアプリ内文字列や画面を発見したと報告しています。
この機能が正式に実装されれば、タップ入力やスワイプ入力、音声入力に続く新たな文字入力手段として、手話を使うユーザーの利便性向上が期待されます。
手話認識には「SignGemma」を活用か
Sign-to-Text には、Google DeepMind が開発する手話解釈向けの AI モデル「SignGemma」を採用する可能性があります。SignGemma については、Google DeepMind が以前発表していましたが、実際にどのように活用されるかは明らかにされていませんでした。
この機能は、ユーザーがカメラに向かって手話を行うと、動画そのものはデバイス上で処理されますが、動画からジェスチャーのデータだけを抜き出して Google のクラウドに送信し、文章へと変換する処理が行われます。動画そのものをクラウドに送信するわけではないため、プライバシーは保たれるとしています。
対応言語や搭載時期は不明
今回発見された Gboard アプリでは、機能の概要を説明する導入画面や、カメラへの映り方を改善するよう促すメッセージ（照明が暗い場合に明るい場所への移動を促す文言など）だけが確認されており、実際に機能したわけではないようです。
また、Google DeepMind の発表内容からアメリカ手話 (ASL) への対応を示唆しているものの、イギリスや日本を含む他の言語の手話に対応するか、対応するデバイスの範囲や機能の提供時期についても、現時点では分かっていません。
なお、Googlebook が採用する Aluminium OS は Android をベースとしているため、Gboard が標準キーボードとして利用される可能性があります。Sign-to-Text が正式に実装されれば、Googlebook でも利用できる可能性があります。
