Google présente SensorLM, qui traduit les signaux des capteurs en informations de santé centrées sur l'humain.

Division axée sur la recherche fondamentale et appliquée, Google Recherche introduit CapteurLM , une nouvelle famille de modèles fondamentaux de langage capteur conçue pour améliorer l'interprétation des données de capteurs portables haute dimension. Formé sur 59.7 millions d'heures de données de capteurs multimodaux recueillies auprès de plus de 103,000 XNUMX personnes, SensorLM est capable de produire des descriptions détaillées et lisibles par l'homme à partir de signaux de capteurs complexes, établissant ainsi une nouvelle référence dans le domaine de l'analyse de données de capteurs.

Afin de développer l'ensemble de données d'entraînement de SensorLM, environ 2.5 millions de jours-personnes de données de capteurs anonymisées ont été échantillonnés auprès de 103,643 127 participants répartis dans 1 pays. Ces données ont été collectées à partir d'appareils Fitbit et Pixel Watch entre le 1er mars et le 2024er mai XNUMX. Tous les participants ont donné leur consentement éclairé quant à l'utilisation de leurs données anonymisées dans le cadre de recherches visant à faire progresser les connaissances générales en santé et en sciences.

Les chercheurs ont mis en œuvre un pipeline hiérarchique automatisé qui génère des légendes descriptives en calculant des statistiques, en identifiant des modèles et en résumant les événements directement à partir des données des capteurs, afin de relever le défi de l'étiquetage des données à grande échelle. Cette approche a permis de créer le plus grand ensemble de données connu à ce jour, alignant les entrées des capteurs sur le langage, surpassant ainsi l'échelle des ensembles de données utilisés dans les recherches antérieures.

L'architecture de SensorLM intègre et harmonise les méthodologies de pré-apprentissage multimodal largement utilisées, notamment l'apprentissage contrastif et le pré-apprentissage génératif, dans un cadre unifié. Lors de la phase d'apprentissage contrastif, le modèle est entraîné à associer des segments de données de capteurs aux descriptions textuelles appropriées, sélectionnées parmi un ensemble d'alternatives. 

Ce processus permet au modèle de différencier avec précision différentes activités physiques ou états physiologiques, par exemple entre une nage légère et un entraînement musculaire. Lors de la phase de pré-entraînement génératif, le modèle apprend à produire des descriptions textuelles directement à partir des données des capteurs, améliorant ainsi sa capacité à transmettre des interprétations complexes et contextuelles de données de grande dimension. L'intégration de ces stratégies d'entraînement permet à SensorLM d'acquérir une compréhension multimodale complète et nuancée de la correspondance entre les données des capteurs et le langage naturel.

Des expériences révèlent les capacités avancées de SensorLM en matière de classification zéro-coup, d'apprentissage en quelques coups et de compréhension intermodale

D’après Google Recherche Les performances de SensorLM ont été évaluées dans divers scénarios réels impliquant la reconnaissance d'activités humaines et des applications médicales, montrant des améliorations nettes par rapport aux principaux modèles existants dans ces domaines. SensorLM est particulièrement performant dans les environnements avec peu de données étiquetées. Il a démontré de solides capacités de classification « zero-shot », identifiant correctement 20 activités différentes sans nécessiter de réglage fin du modèle, et a démontré un apprentissage « fee-shot » efficace, s'adaptant rapidement à de nouvelles tâches avec un minimum d'exemples. Sa fonctionnalité de récupération intermodale permet également une interprétabilité mutuelle entre les données des capteurs et le langage naturel, permettant aux utilisateurs de rechercher des modèles de capteurs à l'aide de texte ou de générer des descriptions pertinentes à partir des entrées des capteurs – une approche qui prend en charge les flux d'analyse experts.

Outre la classification, SensorLM est capable de générer des résumés textuels structurés et contextuels, basés uniquement sur les entrées de capteurs portables. Des comparaisons expérimentales indiquent que ces résultats sont généralement plus cohérents et précis que ceux générés par des modèles de langage non spécifiques à un domaine. La recherche a également observé que les performances de SensorLM évoluent régulièrement avec l'augmentation des données d'apprentissage, de la taille du modèle et des ressources de calcul, conformément aux principes établis précédemment en matière de mise à l'échelle des modèles. Ces résultats suggèrent que l'approche n'en est qu'à ses débuts et justifient une exploration continue.

Le développement de SensorLM introduit un cadre d'interprétation des données complexes de capteurs portables en langage naturel. Cette approche est rendue possible grâce à une nouvelle méthode de sous-titrage hiérarchique et à ce qui est considéré comme le plus grand ensemble de données de langage de capteur jamais assemblé. La famille de modèles SensorLM constitue ainsi une avancée majeure pour améliorer l'accessibilité et l'utilité des données de santé personnelles. En permettant aux machines d'interpréter les signaux physiologiques par le langage, ces travaux posent les bases d'un retour d'information sur la santé plus personnalisé et plus informatif. Les futurs travaux exploreront l'expansion vers des domaines tels que le profilage métabolique et la surveillance avancée du sommeil, avec l'objectif plus large de soutenir les outils de bien-être personnalisés, les systèmes de surveillance clinique et les assistants numériques de santé capables d'interagir en langage naturel. Le développement et le déploiement de tout produit futur issu de ces recherches pourraient être soumis à une validation clinique et à un contrôle réglementaire.