スティーブン・ホーキングは、筋萎縮性側索硬化症（ALS）を患う著名な物理学者であり、彼がコミュニケーションに使用した技術は光学センサーを用いたものでした。
そのセンサーは頬の筋肉の微細な動きを利用して画面上の文字を選択し、DECtalk TC01音声合成器によって彼のアイコニックなロボットの声に変換されました。
しかし、ホーキングが2018年に亡くなって以来、多くの技術革新がありました。
最近では、脳-コンピュータインターフェイス（BCI）デバイスが登場し、神経活動を直接テキストや音声に変換することが可能になっています。
残念ながら、これらのシステムには顕著な遅延があり、ユーザーは予め定義された語彙に限られることが多く、音声のニュアンスや抑揚を扱うことができませんでした。
しかし、カリフォルニア大学デービス校の科学者チームが、脳信号を即座に音—音素や言葉に変換する神経プロステーシスを開発しました。
これは、完全にデジタルな声道への第一歩になるかもしれません。
この研究の主な目標は、麻痺を持つ患者ができるだけ流暢に話し、自分のペースでコミュニケーションを取れるようにすることです。
また、抑揚の調整も可能にして、より表現力豊かな会話を実現することが求められました。
しかし、Wairagkar氏のチームは、これらの条件を満たすプロステーシスの開発において多くの課題に直面しました。
一般に、これまでの神経プロステーシスは脳信号をテキストに変換することが主でしたが、コミュニケーションには限界があります。
スタンフォード大学のフランシス・R・ウィレット氏のチームは、脳からテキストへの変換を達成し、約25パーセントの誤り率を記録しました。
しかし、これには日常的なコミュニケーションには不十分です。
デラテした会話の制限があります。
2024年、スタビスキー氏のチームは、脳信号を97.5パーセントの精度でテキストに変換するシステムを発表しましたが、音声のニュアンスをもたらすことが課題です。
従来の手法では、テキストを基に音声合成を行っており、これがさらなる遅延を引き起こしていました。
BCIの音声補助装置では、文章が画面に表示されるまでに多くの時間がかかるため、コミュニケーションがスムーズではありませんでした。
さらに、これらのシステムの語彙も限られていました。
このような課題を克服するために、Wairagkar氏は脳信号を音に変換するプロステーシスの設計に着手しました。
参加者として選ばれたのはALSを患う46歳の男性（コードネームT15）で、彼は重度の麻痺のため、意思を伝えるのが非常に難しい状況にありました。
彼は過去にジャイロスコープ式のヘッドマウスを用いてコンピュータ上にカーソルを操作してコミュニケーションを図っていました。
T15は、首の前下部を刺激する256本のマイクロ電極を手術で埋め込まれ、その信号を利用していました。
この新しい脳-音声システムでは、同じ256本の電極を使い、単一神経からの神経活動を記録しました。
すなわち、脳からの情報を最高解像度で取得しました。
その後、電極から得た信号はAIアルゴリズムである神経デコーダーに送信され、音声特徴（ピッチや声の性質など）が抽出されます。
次に、これらの特徴が音声合成アルゴリズムに供給され、T15がかつて使っていた声に似た音声が生成されます。
この全体のシステムは遅延が約10ミリ秒であり、脳信号から音声への変換がほぼ瞬時に行われました。
このプロステーシスは、脳信号を音に変換するため、サポートされる単語の制限がなく、患者は望むことを自由に発声できました。
喉が乾いたときの「うん」という言葉や歌の短いメロディなども vocalize できました。
しかし、Wairagkarのプロステーシスにも限界がありました。
その性能をテストするために、彼女のチームはまず人間のリスナーにT15患者の合成音声の録音と類似の長さを持つ6つの候補文から1つを一致させるように求めました。
このテストでは100パーセントの聴解力を達成しました。
しかし、リスナーが候補文なしで作業するオープン音声認識テストでは、誤り率は43.75パーセントでした。
つまり、参加者は半分以上の録音された言葉を正しく特定できたのです。
これは、T15の無補助の発話における聴解力が96.43パーセントの誤り率だったことに対する改善が見られました。
ただし、このプロステーシスは、日常的なコミュニケーションにはまだ信頼性がありませんでした。
スタビスキーは、「オープンエンドの会話に使用できる段階には達していない」と述べ、将来の設計を改良するために電極を増やす提案をしています。
現在、千本以上の電極を備えたBCIを構築中のスタートアップが多くあり、今回の成果は、さらに向上する可能性を示唆しています。
テキサス州オースティンに拠点を置くParadromicsは、音声神経プロステーシスの臨床試験を進めようとしており、FDAの承認を求めています。
この試験では、UCデービス校で共同執筆者であるデイビッド・ブランドマンが主導する予定です。
この研究は、BCI技術の未来に向けた重要な進展と言えるでしょう。
画像の出所：arstechnica