用于可穿戴传感器的人类活动识别、健康监测和行为建模的大型语言模型

这篇论文题为《用于可穿戴传感器的人类活动识别、健康监测和行为建模的大型语言模型：早期趋势、数据集和挑战的综述》，由埃米利奥·费拉拉（Emilio Ferrara）撰写。论文主要内容如下：

摘要

可穿戴技术的普及使得传感器数据的大量生成成为可能，为健康监测、活动识别和个性化医疗的进步提供了重要机会。然而，这些数据的复杂性和规模也带来了建模和分析的巨大挑战，从时间序列建模到深度学习技术，各种方法相继应用。最新的前沿是采用大型语言模型（LLMs），如GPT-4和Llama，用于通过可穿戴传感器数据分析、建模、理解和生成人类行为。这篇综述探讨了将LLMs应用于基于传感器的人类活动识别和行为建模的当前趋势和挑战。

引言

可穿戴传感器的快速发展带来了大量数据，使我们能够前所未有地监测和理解人类行为和健康。尽管可穿戴传感器数据的规模和复杂性增加了数据建模和分析的难度，LLMs如GPT-4和Llama展示了在数据分析中的强大能力，为从可穿戴传感器数据中提取有意义的见解提供了新的可能性。

可穿戴传感器数据

可穿戴传感器种类繁多，主要包括：

• 生理传感器：监测心率、血压等生命体征。
• 运动传感器：加速度计、陀螺仪等，用于追踪运动和定位。
• 环境传感器：监测温度、湿度等环境条件。
• 生化传感器：测量葡萄糖等生化指标。
• 多传感器系统：集成多种传感器，提供全面的监测能力。

这些传感器产生的高维、连续时间序列数据需要专门的预处理和分析技术。以下是表1中提到的参考文献详细信息：

可穿戴传感器类型

数据类型

大型语言模型（LLMs）

LLMs如GPT-4和Llama在自然语言处理领域取得了巨大成功，现已开始应用于可穿戴传感器数据分析。它们能够处理多模态数据，包括文本、音频和传感器信号，提供更全面的数据理解。

现状和挑战

LLMs在处理复杂查询和生成有见地的响应方面表现出色，使其成为需要高水平推理和上下文理解任务的理想工具。然而，挑战依然存在，包括数据质量、计算需求、可解释性和隐私问题。未来的研究方向应包括改进预处理技术、开发更高效和可扩展的模型以及加强跨学科合作。

总结

综述提供了可穿戴传感器数据与LLMs交叉领域的全面概览，探讨了当前的状态和未来前景。通过案例研究和成功应用，强调了LLMs在增强可穿戴传感器数据分析和解释方面的潜力。

方法与贡献

1. 现有方法综述：分析了传统机器学习和深度学习在可穿戴传感器数据分析中的应用及其局限性。
2. LLMs的应用前景：讨论了LLMs在处理和分析多模态数据方面的优势，尤其是其在处理复杂、异构数据方面的能力。
3. 挑战与建议：提出了数据质量、计算要求、模型可解释性和隐私保护等方面的挑战，并提供了相应的建议和未来研究方向。

结论

LLMs为可穿戴传感器数据分析提供了新的机遇，通过改进数据预处理技术、开发更高效的模型、加强跨学科合作，可以进一步提升其应用效果。
这篇论文通过全面综述当前的研究进展，提出了未来研究的潜在方向，强调了LLMs在可穿戴传感器数据分析中的重要性和潜力。

传感器数据集参考文献：

• [9] Zachary Englhardt, Chengqian Ma, Margaret E Morris, Chun-Cheng Chang, Xuhai “Orson” Xu, Lianhui Qin, Daniel McDuff, Xin Liu, Shwetak Patel, and Vikram Iyer. 2024. From Classification to Clinical Insights: Towards Analyzing and Reasoning About Mobile and Behavioral Health Data With Large Language Models. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies 8, 2 (2024), 1–25【17:9†source】.
• [11] Cathy Mengying Fang, Valdemar Danry, Nathan Whitmore, Andria Bao, Andrew Hutchison, Cayden Pierce, and Pattie Maes. 2024. PhysioLLM: Supporting Personalized Health Insights with Wearables and Large Language Models. arXiv preprint arXiv:2406.19283 (2024)【17:3†source】.
• [17] Sheikh Asif Imran, Mohammad Nur Hossain Khan, Subrata Biswas, and Bashima Islam. 2024. LLaSA: Large Multimodal Agent for Human Activity Analysis Through Wearable Sensors. arXiv preprint arXiv:2406.14498 (2024)【17:4†source】.
• [24] Jamie McQuire, Paul Watson, Nick Wright, Hugo Hiden, and Michael Catt. 2023. A Data Efficient Vision Transformer for Robust Human Activity Recognition from the Spectrograms of Wearable Sensor Data. In 2023 IEEE Statistical Signal Processing Workshop (SSP). IEEE, 364–368【17:6†source】.
• [34] Huaijun Wang, Jing Zhao, Junhuai Li, Ling Tian, Pengjia Tu, Ting Cao, Yang An, Kan Wang, and Shancang Li. 2020. Wearable Sensor-Based Human Activity Recognition Using Hybrid Deep Learning Techniques. Security and communication Networks 2020, 1 (2020), 2132138【17:7†source】.
• [1] Fayez Alharbi, Lahcen Ouarbya, and Jamie A Ward. 2022. Comparing sampling strategies for tackling imbalanced data in human activity recognition. Sensors 22, 4 (2022), 1373 .
• [17] Sheikh Asif Imran, Mohammad Nur Hossain Khan, Subrata Biswas, and Bashima Islam. 2024. LLaSA: Large Multimodal Agent for Human Activity Analysis Through Wearable Sensors. arXiv preprint arXiv:2406.14498 (2024) .
• [18] Sijie Ji, Xinzhe Zheng, and Chenshu Wu. 2024. HARGPT: Are LLMs Zero-Shot Human Activity Recognizers? arXiv preprint arXiv:2403.02727 (2024) .
• [29] Sungho Suh, Vitor Fortes Rey, and Paul Lukowicz. 2023. Tasked: transformer-based adversarial learning for human activity recognition using wearable sensors via self-knowledge distillation. Knowledge-Based Systems 260 (2023) .