Google giới thiệu SensorLM giúp chuyển đổi tín hiệu cảm biến thành thông tin chi tiết về sức khỏe lấy con người làm trung tâm

Bộ phận tập trung vào cả nghiên cứu cơ bản và ứng dụng, Nghiên cứu Google giới thiệu Cảm biến LM , một họ mô hình nền tảng ngôn ngữ cảm biến mới được thiết kế để nâng cao khả năng diễn giải dữ liệu cảm biến đeo được đa chiều. Được đào tạo dựa trên 59.7 triệu giờ dữ liệu cảm biến đa phương thức từ hơn 103,000 cá nhân, SensorLM có khả năng tạo ra các mô tả chi tiết, dễ đọc đối với con người từ các tín hiệu cảm biến phức tạp, thiết lập một chuẩn mực mới trong lĩnh vực phân tích dữ liệu cảm biến.

Để phát triển bộ dữ liệu đào tạo cho SensorLM, khoảng 2.5 triệu ngày người dữ liệu cảm biến ẩn danh đã được lấy mẫu từ 103,643 người tham gia trên 127 quốc gia. Dữ liệu này được thu thập từ các thiết bị Fitbit và Pixel Watch trong khoảng thời gian từ ngày 1 tháng 1 đến ngày 2024 tháng XNUMX năm XNUMX, với sự đồng ý của tất cả người tham gia cho phép sử dụng dữ liệu ẩn danh của họ trong nghiên cứu nhằm nâng cao kiến thức chung về sức khỏe và khoa học.

Các nhà nghiên cứu đã triển khai một quy trình phân cấp tự động tạo ra các chú thích mô tả bằng cách tính toán số liệu thống kê, nhận dạng các mẫu và tóm tắt các sự kiện trực tiếp từ dữ liệu cảm biến để giải quyết thách thức trong việc gắn nhãn dữ liệu quy mô lớn. Phương pháp này cho phép tạo ra bộ dữ liệu lớn nhất hiện nay, liên kết dữ liệu đầu vào của cảm biến với ngôn ngữ, vượt xa quy mô của các bộ dữ liệu được sử dụng trong các nghiên cứu trước đây.

Kiến trúc của SensorLM kết hợp và hài hòa các phương pháp tiền huấn luyện đa phương thức được sử dụng rộng rãi, đặc biệt là học tương phản và tiền huấn luyện tạo sinh, thành một khuôn khổ thống nhất. Trong giai đoạn học tương phản, mô hình được huấn luyện để liên kết các phân đoạn dữ liệu cảm biến với các mô tả văn bản phù hợp được chọn từ một nhóm các phương án thay thế. 

Quá trình này cho phép mô hình phân biệt chính xác giữa các hoạt động thể chất hoặc trạng thái sinh lý khác nhau, chẳng hạn như phân biệt giữa bơi nhẹ và tập luyện sức mạnh. Trong giai đoạn tiền huấn luyện sinh sản, mô hình học cách tạo ra các mô tả văn bản trực tiếp từ dữ liệu cảm biến, nâng cao khả năng truyền tải các diễn giải phức tạp, nhạy cảm với ngữ cảnh của dữ liệu đa chiều. Việc tích hợp các chiến lược huấn luyện này cho phép SensorLM hình thành một sự hiểu biết đa phương thức toàn diện và tinh tế về cách dữ liệu cảm biến ánh xạ sang ngôn ngữ tự nhiên.

Các thí nghiệm cho thấy khả năng tiên tiến của SensorLM trong phân loại Zero-Shot, học ít shot và hiểu biết đa phương thức

Theo Nghiên cứu Google Hiệu suất của SensorLM đã được đánh giá qua nhiều tình huống thực tế đa dạng liên quan đến nhận dạng hoạt động của con người và các ứng dụng chăm sóc sức khỏe, cho thấy những cải tiến rõ rệt so với các mô hình hàng đầu hiện có trong các lĩnh vực này. SensorLM hoạt động đặc biệt tốt trong môi trường có dữ liệu được gắn nhãn hạn chế. Nó đã chứng minh khả năng phân loại zero-shot mạnh mẽ, xác định chính xác 20 hoạt động khác nhau mà không cần tinh chỉnh mô hình, và cho thấy khả năng học ít shot hiệu quả, thích ứng nhanh chóng với các tác vụ mới với số lượng mẫu tối thiểu. Chức năng truy xuất đa phương thức của nó cũng cho phép diễn giải lẫn nhau giữa dữ liệu cảm biến và ngôn ngữ tự nhiên, cho phép người dùng tìm kiếm các mẫu cảm biến bằng văn bản hoặc tạo mô tả liên quan từ dữ liệu đầu vào của cảm biến—một phương pháp hỗ trợ quy trình phân tích chuyên gia.

Ngoài khả năng phân loại, SensorLM còn có khả năng tạo ra các bản tóm tắt văn bản có cấu trúc và nhận biết ngữ cảnh chỉ dựa trên dữ liệu đầu vào từ cảm biến đeo được. Các so sánh thực nghiệm cho thấy những kết quả này thường mạch lạc và chính xác hơn so với kết quả được tạo ra bởi các mô hình ngôn ngữ không chuyên biệt cho miền. Nghiên cứu cũng quan sát thấy hiệu suất của SensorLM tăng trưởng ổn định theo sự gia tăng của dữ liệu huấn luyện, kích thước mô hình và tài nguyên tính toán, phù hợp với các nguyên tắc đã được thiết lập trước đây về khả năng mở rộng mô hình. Những phát hiện này cho thấy phương pháp này vẫn đang trong giai đoạn đầu phát huy tiềm năng và cần được tiếp tục nghiên cứu.

Sự phát triển của SensorLM giới thiệu một khuôn khổ để diễn giải dữ liệu cảm biến đeo phức tạp thông qua ngôn ngữ tự nhiên. Điều này được thực hiện nhờ phương pháp chú thích phân cấp mới được phát triển và bộ dữ liệu ngôn ngữ cảm biến được cho là lớn nhất từ trước đến nay. Do đó, họ mô hình SensorLM là một bước tiến trong việc nâng cao khả năng tiếp cận và tiện ích của dữ liệu sức khỏe cá nhân. Bằng cách cho phép máy móc diễn giải các tín hiệu sinh lý thông qua ngôn ngữ, công trình này đặt nền tảng cho phản hồi sức khỏe được thiết kế riêng và cung cấp nhiều thông tin hơn. Các nỗ lực trong tương lai sẽ khám phá việc mở rộng sang các lĩnh vực như lập hồ sơ chuyển hóa và theo dõi giấc ngủ nâng cao, với mục tiêu rộng hơn là hỗ trợ các công cụ chăm sóc sức khỏe cá nhân hóa, hệ thống giám sát lâm sàng và trợ lý sức khỏe kỹ thuật số có khả năng tương tác bằng ngôn ngữ tự nhiên. Việc phát triển và triển khai bất kỳ sản phẩm nào trong tương lai dựa trên nghiên cứu này có thể phải tuân theo xác nhận lâm sàng và giám sát theo quy định.