アクセシビリティ

手話・LINA

AI手話アバター「LINA & BARO」がリアルタイムで手話を通訳します。

音声言語でのコミュニケーションが難しい方々(ろう者・聴覚障害者など)の言語である手話にAI技術を取り入れ、「自由なコミュニケーションと情報アクセス」を実現します。教育・生活・旅行など社会全般での不便や不利益を解消し、障害のある人とない人の間の格差をなくすための手話ソリューションです。

リアルタイム手話LINA & BARO双方向認識オンデバイス翻訳
手話・LINA 製品画面
OVERVIEW

音声・テキストを自然な手話に通訳するAI手話アバター「LINA & BARO」(Language & Information Narrative Avatar)。手話認識・手話翻訳・手話アバターの3大モジュールを組み合わせ、聞き取るだけでなく、ユーザーの手話まで認識する双方向コミュニケーションを実現します。キオスク・映像・放送に組み込むことで聴覚障害者の情報アクセシビリティを高め、機関のアクセシビリティ義務とESGを同時に満たします。

デモを申し込む
WHO IT'S FOR

こんな方におすすめです

聴覚障害のある方に情報が届かない

音声案内では伝わりません。リアルタイムの手話通訳で届けます。

アクセシビリティ義務を満たしたい

法制度への対応が必要です。キオスク・映像・放送に組み込めます。

ESG・ブランドの信頼を高めたい

社会的価値を示したい。デジタルインクルージョンでブランドの信頼を強化します。

KEY FEATURES

主な機能

FEATURE

AIメタヒューマンアバター

自然な表情と手の動きを備えたデジタルヒューマン「LINA」が、音声・テキストを手話に通訳します。実在の人物に近いキャラクターとして制作されており、顔の表現が自然で手話の伝達力に優れています。

AIメタヒューマンアバター
FEATURE

自然な表情・動作の高度化

6年間の研究開発で蓄積した40万件の韓国語–手話翻訳文と4万件の韓国語手話アニメーションをもとに、国立国語院の韓国手話(KSL)文法を適用しました。さらに眉や口の形といった非手指記号(表情)まで高度化し、意味を正確に伝える自然な手話を実現します。

自然な表情・動作の高度化
FEATURE

リアルタイム手話通訳

AI翻訳エンジンにより韓国語 ↔ 韓国手話(KSL)を翻訳する自社開発の手話翻訳ソリューションです。Unity 3Dモデルで作られた手話アバターが、PC・モバイルなどでリアルタイムに、単語をつなげて一つの手話文として動作を表現します。(「イオジュム(Eojum)」アプリ)

リアルタイム手話通訳
FEATURE

どこにでも組み込み・アクセシビリティ

キオスク・映像・放送などさまざまな環境に組み込み、聴覚障害者の情報アクセシビリティと機関のESGを同時に満たします。

どこにでも組み込み・アクセシビリティ
MAIN MODULES

一つのシステム、3つのコアモジュール

認識 → 翻訳 → アバターへとつながる手話フルスタック。聞き取るだけでなく、ユーザーの手話まで読み取って応えます。

手話認識
01 · RECOGNITION

手話認識

カメラで捉えたユーザーの手話動作をAIが認識し、韓国語の文章に変換します。聞き取るだけでなくユーザーの手話まで読み取る、双方向コミュニケーションの入力段階です。

手話翻訳
02 · TRANSLATION

手話翻訳

自社開発の翻訳エンジンが韓国語の文章を手話の文章に変換します。MeCab-ko-dicの形態素解析とCTranslate2により100ms以内でリアルタイム処理し、オンデバイスにも対応します。

手話アバター
03 · AVATAR

手話アバター

表情・手の動きが自然なデジタルヒューマンLINA・BAROが、音声・テキストから手話を生成・表現します。実写3Dスキャンとモーションキャプチャで伝達力を高めました。

ANIMATION PROCESS · 3Dアバター生成技術

実在の人物からデジタルヒューマンへ

LINA & BAROの3Dアバターは、キャラクター制作5ステップモーション・フェイスキャプチャ4ステップを経て手話映像として完成します。実在の人物を3D Photometric Scan・Reality Captureでスキャンし、クリーンアップして実写型モデルを作るため、顔の表現が自然で手話の伝達力に優れています。

デジタルヒューマンキャラクター制作・5ステップ
デジタルヒューマン制作プロセス — Model Selection・3D Photometric Scan・Reality Capture・クリーンアップ・最終モデリング
モーション・手の動きのキャプチャ・4ステップ
モーションキャプチャの流れ — 実写モーションデータ・モーションキャプチャ機材・SynDashアプリ・3Dアバターモーションデータ

▶ Cobra Glovesを用いて、手話通訳士の手の甲や指の自然な動きをFBXファイルとして生成します。

韓国語–手話自動翻訳サービスのために、Timbelは独自の言語知能・視覚知能プラットフォームを保有しています。
PLATFORM COMPOSITION

サービス構成

韓国語の自然文・韓国手話の翻訳文・単語マップを自社で構築し、手話アニメーション・手話アプリ・字幕–手話翻訳サーバーを開発しました。これをもとに手話3Dアバターを生成し、放送・モバイル・キオスクなどさまざまなデバイスにサービスを提供します。

手話サービス構成 — 翻訳サーバー・手話アニメーション制作・自動字幕生成アプリ・字幕手話翻訳サーバー、放送・モバイル・キオスクへのサービス提供
MOBILE · イオジュム

モバイルでも、「イオジュム」

音声–字幕の変換・再生機能を備えた音声–字幕ブラウザアプリ(iOS・Android)をベースに、手話翻訳と手話アニメーション再生機能をあわせて提供します。映像・音声・手話・字幕を自由にオン・オフし、お好みの手話アバターを選んでリアルタイムでご確認いただけます。

iOS · Android音声–字幕変換手話アニメーション再生
「イオジュム(Eojum)」モバイルアプリ — 映像・音声・手話・字幕の切り替え、手話アバターの選択、手話アニメーション再生
SPECIFICATION

主な仕様

構成手話認識・手話翻訳・手話アバターの3大モジュール
アバターLINA(女性)・BARO(男性)— 実写3Dスキャン+モーションキャプチャによるデジタルヒューマン
手話認識カメラでユーザーの手話を認識し、韓国語の文章に変換(双方向)
手話翻訳MeCab-ko-dic形態素解析+CTranslate2 — 100ms以内・オンデバイス
学習データTTAの字幕–手話並列コーパスに基づく翻訳エンジン
適用先キオスク・スマートサイネージ・映像・放送・議会中継システム
法制度障害者差別禁止法・ウェブアクセシビリティなどのアクセシビリティ義務に対応
導入実績視聴者メディア財団・安城市など公共機関での導入
APPLICATIONS

どのような分野に適用できますか?

行政窓口・手続き業務からスマートサイネージシステムまで

SYSTEM 01

官公庁や公共施設での窓口対応や簡単な行政手続きに活用できます。

SYSTEM 02

スマートサイネージに搭載し、聴覚障害のある方へ各種情報を手話で伝えられます。

SYSTEM 03

簡単な行政手続きであれば、来庁者は余計な手順なしにそのまま手続きを進められます。

SYSTEM 04

来庁者と担当者が非対面で行政手続きを行えます。

SYSTEM 05

手話認識に対応し、双方向コミュニケーションができるサイネージシステムです。

インタラクティブ議会中継システム — 議会・放送中継にSTTとデジタルヒューマンLINAを適用し、リアルタイム字幕と手話を同時に配信。聴覚障害のある方の積極的な議会活動への参加を支援します。
CASE STUDIES

導入事例

手話・LINAと同様の技術が現場で実証されています

導入事例をすべて見る
FAQ

よくあるご質問

手話・LINAとは何ですか?
音声・テキストを自然な手話に通訳するAI手話アバター「LINA & BARO」です。手話認識・手話翻訳・手話アバターの3大モジュールを組み合わせ、ユーザーの手話まで認識する双方向コミュニケーションを提供します。
どこに適用できますか?
キオスク・スマートサイネージ・映像・放送・議会中継システムなど、さまざまな環境に組み込めます。
リアルタイム通訳は可能ですか?
はい。音声・テキストをリアルタイムで手話に変換し、カメラでユーザーの手話を認識して韓国語の文章に変換する双方向コミュニケーションに対応します。
どのような機関が導入していますか?
公共機関・自治体・空港・放送局など、アクセシビリティ義務のある組織が導入しています(例:視聴者メディア財団、安城市)。
アクセシビリティ関連の法制度に対応できますか?
はい。障害者差別禁止法やウェブアクセシビリティなどのアクセシビリティ義務を満たし、デジタルインクルージョンを通じて機関のESGとブランドの信頼を同時に強化できます。
アバターはどのように作られていますか?
LINA(女性)・BARO(男性)は、実写3Dスキャンとモーションキャプチャに基づくデジタルヒューマンで、自然な表情と手の動きで通訳を行います。
翻訳エンジンにはどのような技術を使っていますか?
MeCab-ko-dicの形態素解析とCTranslate2をベースに100ms以内・オンデバイスで翻訳を行い、TTA(韓国情報通信技術協会)の字幕–手話並列コーパスで学習しています。
RELATED

あわせてご覧いただきたい製品

手話・LINA 導入のご相談

導入のご検討からカスタム構築まで、Timbelが伴走します。