La división centrada en la investigación tanto fundamental como aplicada, Google Research, presentó SensorLM, una nueva familia de modelos de lenguaje de sensores diseñada para mejorar la interpretación de datos de sensores portátiles de alta dimensión. Entrenado con una extensa entrada de sensores multimodales de 59.7 millones de horas de más de 103,000 individuos, SensorLM es capaz de producir descripciones detalladas y legibles por humanos a partir de señales de sensores complejas, estableciendo un nuevo estándar en el campo del análisis de datos de sensores.
Para desarrollar el conjunto de datos de entrenamiento para SensorLM, se muestrearon aproximadamente 2.5 millones de días-persona de datos de sensores desidentificados de 103,643 participantes en 127 países. Estos datos se recopilaron de dispositivos Fitbit y Pixel Watch durante el período del 1 de marzo al 1 de mayo de 2024, con todos los participantes proporcionando consentimiento informado para el uso de sus datos anonimizados en investigaciones destinadas a avanzar en el conocimiento general en salud y ciencia.
Los investigadores implementaron una tubería jerárquica automatizada que genera descripciones mediante el cálculo de estadísticas, el reconocimiento de patrones y la síntesis de eventos directamente a partir de los datos del sensor para abordar el desafío de etiquetar datos a gran escala. Este enfoque permitió la creación de lo que actualmente es el conjunto de datos más grande conocido que alinea las entradas del sensor con el lenguaje, superando la escala de los conjuntos de datos utilizados en investigaciones anteriores.
La arquitectura de SensorLM incorpora y armoniza metodologías de pre-entrenamiento multimodal ampliamente utilizadas, notablemente el aprendizaje contrastivo y el pre-entrenamiento generativo, en un marco unificado. En la fase de aprendizaje contrastivo, el modelo se entrena para asociar segmentos de datos de sensores con las descripciones textuales apropiadas seleccionadas de un grupo de alternativas.
Este proceso permite al modelo diferenciar con precisión entre diversas actividades físicas o estados fisiológicos, como distinguir entre una natación ligera y un entrenamiento centrado en la fuerza. En la fase de preentrenamiento generativo, el modelo aprende a producir descripciones textuales directamente a partir de entradas de sensores, mejorando su capacidad para transmitir interpretaciones complejas y sensibles al contexto de datos de alta dimensión. La integración de estas estrategias de entrenamiento permite a SensorLM formar una comprensión multimodal completa y matizada de cómo los datos del sensor se corresponden con el lenguaje natural.
Experimentos Revelan las Capacidades Avanzadas de SensorLM en Clasificación Zero-Shot, Aprendizaje Few-Shot y Comprensión Cross-Modal
Según Google Research, el rendimiento de SensorLM se evaluó en diversos escenarios del mundo real que implican el reconocimiento de actividad humana y aplicaciones de salud, mostrando mejoras claras sobre los modelos líderes existentes en estos dominios. SensorLM funciona particularmente bien en entornos con datos etiquetados limitados. Demostró fuertes capacidades de clasificación cero disparos, identificando correctamente 20 actividades diferentes sin requerir ajuste del modelo, y mostró un aprendizaje efectivo de pocos disparos, adaptándose rápidamente a nuevas tareas con ejemplos mínimos. Su funcionalidad de recuperación cruzada también permite la interpretabilidad mutua entre datos de sensores y lenguaje natural, permitiendo a los usuarios buscar patrones de sensores utilizando texto o generar descripciones relevantes a partir de entradas de sensores, un enfoque que apoya los flujos de trabajo de análisis de expertos.
Además de la clasificación, SensorLM es capaz de generar resúmenes textuales estructurados y conscientes del contexto basados únicamente en entradas de sensores portátiles. Comparaciones experimentales indican que estas salidas son generalmente más coherentes y precisas que las generadas por modelos de lenguaje no específicos del dominio. La investigación también observó que el rendimiento de SensorLM se escala de manera consistente con el aumento de datos de entrenamiento, tamaño del modelo y recursos computacionales, alineándose con principios previamente establecidos en la escalabilidad de modelos. Estos hallazgos sugieren que el enfoque se encuentra en una fase temprana de su potencial y justifica una exploración continua.
El desarrollo de SensorLM introduce un marco para interpretar datos complejos de sensores portátiles a través del lenguaje natural. Esto es posible gracias a un método de subtitulado jerárquico recién desarrollado y lo que se cree que es el conjunto de datos de sensor-lenguaje más grande reunido hasta la fecha. Como resultado, la familia de modelos SensorLM representa un avance en la mejora de la accesibilidad y utilidad de los datos de salud personal. Al permitir que las máquinas interpreten señales fisiológicas a través del lenguaje, este trabajo sienta las bases para retroalimentación de salud más personalizada e informativa. Los esfuerzos futuros explorarán la expansión a dominios como el perfilado metabólico y el monitoreo avanzado del sueño, con el objetivo más amplio de apoyar herramientas de bienestar personalizadas, sistemas de monitoreo clínico y asistentes de salud digital capaces de interacción en lenguaje natural. El desarrollo y la implementación de futuros productos basados en esta investigación pueden estar sujetos a validación clínica y supervisión regulatoria.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Google presenta SensorLM que traduce señales de sensores en información de salud centrada en el ser humano.
La división centrada en la investigación tanto fundamental como aplicada, Google Research, presentó SensorLM, una nueva familia de modelos de lenguaje de sensores diseñada para mejorar la interpretación de datos de sensores portátiles de alta dimensión. Entrenado con una extensa entrada de sensores multimodales de 59.7 millones de horas de más de 103,000 individuos, SensorLM es capaz de producir descripciones detalladas y legibles por humanos a partir de señales de sensores complejas, estableciendo un nuevo estándar en el campo del análisis de datos de sensores.
Para desarrollar el conjunto de datos de entrenamiento para SensorLM, se muestrearon aproximadamente 2.5 millones de días-persona de datos de sensores desidentificados de 103,643 participantes en 127 países. Estos datos se recopilaron de dispositivos Fitbit y Pixel Watch durante el período del 1 de marzo al 1 de mayo de 2024, con todos los participantes proporcionando consentimiento informado para el uso de sus datos anonimizados en investigaciones destinadas a avanzar en el conocimiento general en salud y ciencia.
Los investigadores implementaron una tubería jerárquica automatizada que genera descripciones mediante el cálculo de estadísticas, el reconocimiento de patrones y la síntesis de eventos directamente a partir de los datos del sensor para abordar el desafío de etiquetar datos a gran escala. Este enfoque permitió la creación de lo que actualmente es el conjunto de datos más grande conocido que alinea las entradas del sensor con el lenguaje, superando la escala de los conjuntos de datos utilizados en investigaciones anteriores.
La arquitectura de SensorLM incorpora y armoniza metodologías de pre-entrenamiento multimodal ampliamente utilizadas, notablemente el aprendizaje contrastivo y el pre-entrenamiento generativo, en un marco unificado. En la fase de aprendizaje contrastivo, el modelo se entrena para asociar segmentos de datos de sensores con las descripciones textuales apropiadas seleccionadas de un grupo de alternativas.
Este proceso permite al modelo diferenciar con precisión entre diversas actividades físicas o estados fisiológicos, como distinguir entre una natación ligera y un entrenamiento centrado en la fuerza. En la fase de preentrenamiento generativo, el modelo aprende a producir descripciones textuales directamente a partir de entradas de sensores, mejorando su capacidad para transmitir interpretaciones complejas y sensibles al contexto de datos de alta dimensión. La integración de estas estrategias de entrenamiento permite a SensorLM formar una comprensión multimodal completa y matizada de cómo los datos del sensor se corresponden con el lenguaje natural.
Experimentos Revelan las Capacidades Avanzadas de SensorLM en Clasificación Zero-Shot, Aprendizaje Few-Shot y Comprensión Cross-Modal
Según Google Research, el rendimiento de SensorLM se evaluó en diversos escenarios del mundo real que implican el reconocimiento de actividad humana y aplicaciones de salud, mostrando mejoras claras sobre los modelos líderes existentes en estos dominios. SensorLM funciona particularmente bien en entornos con datos etiquetados limitados. Demostró fuertes capacidades de clasificación cero disparos, identificando correctamente 20 actividades diferentes sin requerir ajuste del modelo, y mostró un aprendizaje efectivo de pocos disparos, adaptándose rápidamente a nuevas tareas con ejemplos mínimos. Su funcionalidad de recuperación cruzada también permite la interpretabilidad mutua entre datos de sensores y lenguaje natural, permitiendo a los usuarios buscar patrones de sensores utilizando texto o generar descripciones relevantes a partir de entradas de sensores, un enfoque que apoya los flujos de trabajo de análisis de expertos.
Además de la clasificación, SensorLM es capaz de generar resúmenes textuales estructurados y conscientes del contexto basados únicamente en entradas de sensores portátiles. Comparaciones experimentales indican que estas salidas son generalmente más coherentes y precisas que las generadas por modelos de lenguaje no específicos del dominio. La investigación también observó que el rendimiento de SensorLM se escala de manera consistente con el aumento de datos de entrenamiento, tamaño del modelo y recursos computacionales, alineándose con principios previamente establecidos en la escalabilidad de modelos. Estos hallazgos sugieren que el enfoque se encuentra en una fase temprana de su potencial y justifica una exploración continua.
El desarrollo de SensorLM introduce un marco para interpretar datos complejos de sensores portátiles a través del lenguaje natural. Esto es posible gracias a un método de subtitulado jerárquico recién desarrollado y lo que se cree que es el conjunto de datos de sensor-lenguaje más grande reunido hasta la fecha. Como resultado, la familia de modelos SensorLM representa un avance en la mejora de la accesibilidad y utilidad de los datos de salud personal. Al permitir que las máquinas interpreten señales fisiológicas a través del lenguaje, este trabajo sienta las bases para retroalimentación de salud más personalizada e informativa. Los esfuerzos futuros explorarán la expansión a dominios como el perfilado metabólico y el monitoreo avanzado del sueño, con el objetivo más amplio de apoyar herramientas de bienestar personalizadas, sistemas de monitoreo clínico y asistentes de salud digital capaces de interacción en lenguaje natural. El desarrollo y la implementación de futuros productos basados en esta investigación pueden estar sujetos a validación clínica y supervisión regulatoria.