Google、センサー信号を人間中心の健康分析に変換するSensorLMを発表

基礎研究と応用研究の両方に重点を置いた部門で、 Googleリサーチ 導入 センサーLM は、高次元ウェアラブルセンサーデータの解釈を強化するために設計された、新しいセンサー言語基盤モデルファミリーです。59.7万103,000人以上の被験者から得られたXNUMX万時間にも及ぶマルチモーダルセンサー入力を用いて学習されたSensorLMは、複雑なセンサー信号から詳細かつ人間が判読可能な記述を生成する能力を備えており、センサーデータ分析分野における新たなベンチマークを確立しています。

SensorLMのトレーニングデータセットを開発するために、2.5カ国103,643人の参加者から約127万人日分の匿名化されたセンサーデータが採取されました。このデータは、1年1月2024日からXNUMX月XNUMX日までの期間にFitbitおよびPixel Watchデバイスから収集されたもので、参加者全員から、健康と科学に関する一般知識の向上を目的とした研究における匿名化されたデータの使用についてインフォームドコンセントを得ています。

研究者らは、大規模データのラベル付けという課題に対処するため、統計計算、パターン認識、イベント要約をセンサーデータから直接行うことで、説明的なキャプションを生成する自動化された階層型パイプラインを実装しました。このアプローチにより、センサー入力と言語を対応させた、現在までに知られている中で最大のデータセットの作成が可能になり、これまでの研究で使用されたデータセットの規模を凌駕しています。

SensorLMのアーキテクチャは、広く使用されているマルチモーダル事前学習手法、特に対照学習と生成的事前学習を統合フレームワークに統合・調和させています。対照学習フェーズでは、モデルはセンサーデータのセグメントを、複数の選択肢から選択された適切なテキスト記述と関連付けるように学習されます。 

このプロセスにより、モデルは様々な身体活動や生理学的状態を正確に区別することが可能になります。例えば、軽い水泳と筋力トレーニングを区別することが可能です。生成的な事前学習フェーズでは、モデルはセンサー入力から直接テキスト記述を生成することを学習し、高次元データの複雑で文脈依存的な解釈を伝える能力を高めます。これらの学習戦略を統合することで、SensorLMはセンサーデータが自然言語にどのようにマッピングされるかについて、包括的かつニュアンスに富んだマルチモーダル理解を構築できます。

実験により、SensorLM のゼロショット分類、少数ショット学習、クロスモーダル理解における高度な機能が明らかになりました。

Hubspot Googleリサーチ SensorLMの性能は、人間の行動認識やヘルスケアアプリケーションを含む多様な実世界シナリオで評価され、これらの分野における既存の主要モデルをはるかに上回る性能向上を示しました。SensorLMは、ラベル付きデータが限られている環境で特に優れたパフォーマンスを発揮します。強力なゼロショット分類能力を発揮し、モデルの微調整を必要とせずに20種類の異なる行動を正しく識別しました。また、効果的な少数ショット学習能力を発揮し、最小限の例で新しいタスクに迅速に適応しました。さらに、クロスモーダル検索機能により、センサーデータと自然言語の相互解釈が可能になり、ユーザーはテキストを使用してセンサーパターンを検索したり、センサー入力から関連する説明を生成したりすることができます。これは、専門家の分析ワークフローをサポートするアプローチです。

SensorLMは分類機能に加え、ウェアラブルセンサー入力のみに基づいて、構造化され文脈を考慮したテキスト要約を生成することができます。実験比較の結果、これらの出力は、非ドメイン特化型言語モデルによって生成されるものよりも、一般的に一貫性と精度が高いことが示されました。また、SensorLMのパフォーマンスは、学習データ、モデルサイズ、計算リソースの増加に伴って一貫して向上し、モデルのスケーリングにおける既存の原則と一致していることも確認されました。これらの知見は、このアプローチがまだその可能性の初期段階にあり、継続的な研究が必要であることを示唆しています。

SensorLMの開発は、複雑なウェアラブルセンサーデータを自然言語で解釈するためのフレームワークを導入します。これは、新たに開発された階層的なキャプション手法と、これまでに収集されたセンサー言語データセットとしては最大規模と考えられるものによって可能になりました。結果として、SensorLMモデルファミリーは、個人の健康データへのアクセス性と有用性の向上において大きな前進をもたらします。機械が言語を介して生理学的信号を解釈できるようにすることで、この研究は、より個別化された有益な健康フィードバックの基盤を築きます。今後の取り組みでは、代謝プロファイリングや高度な睡眠モニタリングなどの分野への拡大を検討し、より広範な目標として、パーソナライズされた健康ツール、臨床モニタリングシステム、自然言語による対話が可能なデジタルヘルスアシスタントのサポートを目指します。この研究に基づく将来の製品の開発と展開は、臨床検証と規制当局の監督の対象となる可能性があります。