筋電に基づくアバタ操作インタフェース技術

筋萎縮（筋肉がやせること）に伴い身体がほとんど動けなくなる方々は、コミュニケーションを持続するために補助代替コミュニケーション（AAC：Augmentative and Alternative Communication）システムに頼ることになります。AACシステムの多くは、やせた筋肉ではなく、機能している視線や脳波を活かしたAACシステムの研究開発が主流となります。しかし、視線や脳波はあくまで代替手段であり、身体性を取り戻すことにはなりません。

※筋萎縮の要因例：

• 筋原性筋萎縮：筋肉そのものに障害がある萎縮症（筋ジストロフィーなど）
• 神経原性筋萎縮：運動神経細胞から神経筋接合部までの障害に伴う萎縮症（脊髄性筋萎縮症（SMA）など）
• 廃用性：加齢による筋力低下

「筋萎縮＝身体が動かない」の概念を覆すために、メタバース空間につくられた、ある身体動作を有するアバタに身体拡張する（運動能力転写する）ことで身体性を取り戻すことをめざし、その実現に向けたプロトタイプとして、WITH ALS・Dentsu Lab Tokyo・NTTが連携し、筋電に基づくDJアバタ操作インタフェース技術を研究開発しました。この技術の特徴は、筋萎縮に伴い低下した筋力・筋持久力に配慮した入力判定アルゴリズム、アバタの多様な身体動作の実現に向けて視線などの既存のAACシステムとの連携、環境や心身の影響により変化する脱力時の筋電状態に合わせてシステム校正しやすいパラメータ調整用のGUIを備えたインタフェースデザインになります。世界的な展示会で、WITH ALS代表武藤将胤氏がこの技術を用いて東京からリモートでDJパフォーマンスを披露し、観客の呼応を通じて観客とのつながりを感じることに成功しました。

多様性を包摂する共生社会に向けて、当事者と共に課題解決に挑む「Project Humanity」の取り組みの一環として、「筋萎縮＝身体が動かない」の概念を覆すために、メタバース空間につくられた、ある身体機能を有するアバタに身体拡張すること（図1：運動能力転写の一形態）で身体性を取り戻すというビジョンを掲げています。このビジョンはIOWN構想の主要な柱の一つであるデジタルツインコンピューティング（DTC）の一要素となっています。

ビジョンを実現するために、身体の位置・姿勢のような物理情報ではなく、残存しているわずかな筋動作でも計測可能な筋電（図２）に着目し、その筋電に基づくアバタ操作インタフェース技術（図３）を研究開発しています。最初のプロトタイプとして、WITH ALS、Dentsu Lab TokyoとNTTが連携し（https://group.ntt/jp/newsrelease/2023/06/14/230614a.html）、筋電に基づくDJアバタ操作インタフェース技術を構築し、世界的な展示会（2023年９月Ars Electronica Festival：オーストリア・2024年３月SXSW UK house：アメリカ）やチャリティーイベント（2023年11月Big Bang Ball：イギリス）で、WITH ALS代表武藤将胤氏がこの技術を用いて東京からリモートでDJパフォーマンスを披露することができました（図４）。本技術とNTTの音声合成技術を用いたライブパフォーマンスに加え、Project Humanityのビジョンやメタバースコミュニケーションなどの別コンテンツへの拡張性も評価されたことで数々の広告賞を受賞（https://group.ntt/jp/topics/2024/09/05/project_humanity.html）し、加えて筋電に基づくAACシステムの事例検証に関する報告がヒューマンコンピュータインタラクション（HCI）コミュニティに有益なフィードバックを与えるものとしてHCI分野の最難関国際会議であるCHI2024のLate-Breaking Trackに採録されました。以下、本技術の特徴について詳細に述べます。

第一の特徴は、筋萎縮を伴う低下した筋力・筋持久力に配慮し、長時間収縮し続けることや筋収縮に強弱をつけることによる操作命令を避け、その代わりに、各身体部位の筋収縮の動作判定に応じて各操作命令が決定する操作にしました。さらに各操作命令に対応するアバタ動作が一定時間反映されるようにしました（図５・図６）これにより、WITH ALS代表武藤将胤氏はSXSW UK Houseのステージにて、リハーサルなどの準備もこなした上で6分近いDJパフォーマンスを披露することに成功しました。

この技術の第二の特徴は、筋電入力と既存の視線入力（図７）と併用することで、筋電センサが取り付けられた身体部位に対応するアバタの身体部位の動作表現を増やしていることです。つまり、視線入力で「こう動きたい」というユーザの意志が反映され、筋電入力により実際の動きが反映される設計となっています。これにより、身体拡張性を担保しつつ、動きに変化を与えられることに成功しました。

第三の特徴は、環境や心身の影響により変化する脱力時の筋電状態に対して操作性を担保するためにシステム校正しやすいパラメータ調整用のGUIを組み込んでいます（図８）。筋萎縮症を伴う方々の周りにいるピアサポーターの方々でも調節可能なシンプルなGUIとなっています。これにより、日常と異なるライブパフォーマンス時においても、演者の意図しない入力を防ぐ一因となりました。

本技術によって、筋萎縮（筋肉がやせること）に伴い身体がほとんど動けなくなる方々のわずかな筋動作でアバタや遠隔ロボットを自在に身体操作し、身体コミュニケーションや身体パフォーマンスの実現を想定しています。以下のようなユースケースになります。

• MetaMeのようなコミュニティ向けメタバース空間におけるアバタの操作
• スマート・インクルーシブ・ダンスのような身体パフォーマンスにおけるアバタの操作
• 接客ロボットのようなコミュニケーションロボットの遠隔操作

本技術の発展に向けて主に3つの課題があります。一つ目は、筋萎縮症の方々の個別の特性に合わせた柔軟なインタフェースデザインに拡張することです。武藤氏以外のALS当事者や異なる種類の筋萎縮症の方々にも利用可能かどうかの技術検討を進めていきます。すでに、脊髄性筋萎縮症（SMA）のあそどっぐ氏においても、計測箇所が武藤氏の場合と異なるが、本技術によるDJパフォーマンスを実現しています（図９）。二つ目は、身体拡張先であるアバタに転写する多様な身体動作を生成する技術の創出です。コンテンツの充実さがサービス価値（特に、メタバースコミュニケーションやアバタライブパフォーマンスなどに）に直結するため、多様なアバタ動作を生成する技術が課題となります。NTT研究所でも、モーションキャプチャデータと音楽データを活かしたダンスモーション生成技術に取り組んでいます。このダンスモーション生成技術を用いて生成されたDJアバタと筋電に基づくアバタ操作インタフェース技術を用いて武藤氏は、ご自身が主宰となり開催した音楽フェスMOVE FES.2024（https://withals.com/post/?id=529）にてパフォーマンスをしました。三つ目は、日常利用にリーズナブルな筋電計システムの実現になります。研究段階では高精度な医療分野で利用されている筋電計システムを利用していますが、想定ユーザに展開していくにはユースケースに対して実現に必要な技術要件・価格などの精査が必要であり、デバイスベンダーとのコラボレーションが重要と考えています。

用語集