--- title: project overview type: synthesis last_updated: 2026-04-25 status: settled --- # 多智能体可穿戴传感器手套 — 阿尔兹海默症监测与治疗系统 总体规划 ## 一、项目背景与目标 ### 1.1 核心问题 阿尔兹海默症(AD)诊断面临三大瓶颈： - **量表局限**：MMSE敏感度仅18%（MCI阶段），MoCA受教育水平影响大，均为"快照式评估" - **金标准不可及**：Amyloid PET单次$3000-7000，CSF腰穿创伤性，血液标志物(p-tau217)刚获FDA批准但跨平台标准化缺失 - **诊断滞后**：平均症状出现后2-5年才确诊，错过Lecanemab/Donanemab最佳治疗窗口（仅对MCI/轻度AD有效） ### 1.2 项目定位 开发一套**集成EDA、PPG、IMU、语音麦克风的智能手套**，搭配**多学科专家多智能体系统**，实现： - **监测**：实时监测AD患者状态，确诊当前疾病阶段 - **治疗**：在需要时配合语音干预治疗等非药物干预 ### 1.3 与北京老年医院-清华大学项目的关系 李沫主任团队已在做"怀旧场景+多模态认知评估"研究（2025年首发自主创新专项），本项目手套作为**可穿戴端延伸**，将评估从"怀旧小屋场景"扩展到**居家连续监测**，形成互补。 --- ## 二、传感器选择的医学依据 ### 2.1 为什么选择EDA、PPG、IMU、语音麦克风？ | 传感器 | 检测信号 | AD病理机制映射 | 临床证据 | |--------|---------|--------------|---------| | **IMU** | 步态参数（步速、步频、变异性、双任务代价） | 前额叶-海马回路损伤 → 运动-认知整合障碍；基底节-皮质回路受损 → 步态变异性↑ | 步速拐点在MCI前12.1年出现(Buracchio 2010)；步态分析准确率85.5% | | **语音麦克风** | 声学特征(F0, Jitter, Shimmer, MFCC) + 语言学特征(TTR, 停顿率, 语义连贯性) | 颞叶损伤 → 词汇检索困难；额叶损伤 → 语言组织力↓；海马受损 → 工作记忆障碍 | 语言变化可早于确诊前10年；TAUKADIAL 2024含中文数据AUC 0.78-0.85 | | **PPG** | 心率(HR)、血氧(SpO2)、心率变异性(HRV: SDNN, RMSSD, LF/HF) | 迷走神经通路退化 → 副交感活动↓；岛叶皮质早期Tau沉积 → 自主神经网络退化；胆碱能系统损伤的外周表现 | HRV降低与AD风险独立相关(Collins 2012)；可辅助鉴别AD vs DLB | | **EDA** | 皮肤电导水平(SCL)、皮肤电导反应(SCR)、非特异性波动(NS-SCR) | 交感胆碱能纤维活动；杏仁核-岛叶回路(AD早期受累)；情绪与认知加工 | EDA+HR+ACC检测BPSD AUC 0.87；个性化模型AUC 0.80-0.95(Iaboni 2022) | ### 2.2 手套形态的传感器布局优势 - **手指**：EDA最佳采集位置（汗腺密度最高） - **手腕/手背**：PPG、IMU最佳位置 - **手套集成麦克风**：近口拾音，降低环境噪声 - **手部精细运动**：IMU可额外捕捉手部震颤、书写能力等精细运动指标（AD/PD鉴别价值） ### 2.3 各传感器信号到AD阶段判别的转换机制 ``` 信号采集层 特征提取层 融合推理层 临床输出层 ┌─────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ IMU │───→│ 步态参数 │ │ │ │ │ │ 三轴加速度│ │ 步速/变异性 │───→│ │ │ AD分期判断 │ │ 三轴陀螺仪│ │ 双任务代价 │ │ │ │ (SCD/MCI/ │ ├─────────┤ │ 手部精细运动 │ │ Multi-Agent │ │ 轻度/中度/ │ │ 语音 │───→├──────────────┤───→│ 情境推理 │───→│ 重度) │ │ 麦克风 │ │ 声学+语言特征 │ │ 引擎 │ ├──────────────┤ │ │ │ TTR/停顿/MFCC │ │ │ │ BPSD预警 │ ├─────────┤ ├──────────────┤ │ + │ │ (激越/游荡/ │ │ PPG │───→│ HR/HRV/SpO2 │───→│ 情境信息 │───→│ 睡眠障碍) │ │ 光电容积 │ │ SDNN/RMSSD │ │ (时间/行为/ │ ├──────────────┤ ├─────────┤ │ LF/HF比值 │ │ 医学/社会) │ │ 干预建议 │ │ EDA │───→├──────────────┤───→│ │ │ (音乐/语音/ │ │ 皮肤电导 │ │ SCL/SCR/NS │ │ │ │ 提醒/预警) │ └─────────┘ │ 情绪唤醒指标 │ └──────────────┘ └──────────────┘ └──────────────┘ ``` **关键转换逻辑：** 1. **正常→SCD阶段**：个体化基线偏移检测 - 步态变异性相对基线↑ >1SD - 语音停顿率渐增、词汇多样性渐降 - HRV缓慢下降趋势（周/月级分辨率） 2. **SCD→MCI阶段**（量表盲区，传感器最大价值） - 双任务步态代价(DTC)显著增加 - MCR复合指标：步态慢 + 主观认知主诉（IMU+语音融合） - 多模态综合认知指数(CCI)偏离基线>2SD 3. **MCI→轻度AD** - ADL能力下降（手部精细运动退化、日常活动模式改变） - 语义错误率↑、句法复杂度↓ - HRV持续恶化 + EDA基线异常 4. **中度AD + BPSD** - EDA+HR联合预警激越发作（提前1-2小时） - 日落综合征模式识别（下午4-6点的生理指标异常模式） - 睡眠-觉醒节律紊乱（PPG+IMU活动模式） --- ## 三、多智能体系统架构设计 ### 3.1 设计理念：模拟MDT多学科团队 参考李医生描述的真实临床MDT团队构成： - 精神科、神经科、老年科、全科、中医医生 - 营养师、康复师、认知评估师/训练师、社工、护理 **多智能体系统将这种MDT模式数字化**，每个Agent代表一个专科视角。 ### 3.2 Agent架构（7个核心Agent + 1个协调Agent） ``` ┌─────────────────────────┐ │ Master Coordinator │ │ (总协调Agent) │ │ 综合推理 + 冲突仲裁 │ │ + 可追溯推理链生成 │ └───────────┬─────────────┘ │ ┌───────┬───────┬───────┼───────┬───────┬───────┐ │ │ │ │ │ │ │ ┌────▼──┐┌───▼───┐┌─▼────┐┌─▼────┐┌─▼────┐┌─▼────┐┌─▼────┐ │Agent 1││Agent 2││Agent3││Agent4││Agent5││Agent6││Agent7│ │运动认知││语言认知││自主 ││情绪 ││临床 ││干预 ││护理 │ │专家 ││专家 ││神经 ││行为 ││诊断 ││治疗 ││管理 │ │ ││ ││专家 ││专家 ││专家 ││专家 ││专家 │ └───────┘└───────┘└──────┘└──────┘└──────┘└──────┘└──────┘ ``` ### 3.3 各Agent详细设计 #### Agent 1：运动认知评估专家（Motor-Cognitive Agent） - **对应临床角色**：康复师 + 认知评估师 - **输入数据**：IMU（步态参数、手部精细运动、双任务代价） - **核心能力**： - 步态分析与认知功能关联推理 - MCR（运动认知衰退综合征）评估 - 双任务范式评估（边走边说话时的步态变化） - 跌倒风险评估 - 手部震颤检测（AD/PD鉴别辅助） - **输出**：运动-认知功能评估报告、MCR风险评分、跌倒风险等级 - **知识库**：Verghese MCR标准、步态-认知关联文献、年龄/性别步态常模 #### Agent 2：语言认知评估专家（Language-Cognitive Agent） - **对应临床角色**：认知评估师 + 言语治疗师 - **输入数据**：语音麦克风（声学特征 + 语言学特征） - **核心能力**： - 声学特征提取与分析（MFCC, Jitter, Shimmer, F0） - 语言学特征分析（TTR、停顿率、语义连贯性、信息密度） - 中文/方言语音处理（基于Whisper large-v3 + 讯飞ASR） - Cookie Theft中文等效任务评估 - 纵向语言变化趋势追踪 - **输出**：语言认知评估报告、语义记忆退化指标、语言功能分期 - **知识库**：TAUKADIAL 2024数据集特征、ADReSS基线、中文语言学特征标准 #### Agent 3：自主神经功能专家（Autonomic Agent） - **对应临床角色**：神经内科医生 - **输入数据**：PPG（HR, HRV, SpO2）+ EDA（SCL, SCR） - **核心能力**： - HRV时域/频域分析（SDNN, RMSSD, LF/HF） - 自主神经平衡评估（交感/副交感） - 胆碱能系统功能间接评估 - 睡眠-觉醒节律分析（基于PPG+IMU活动模式） - 昼夜节律紊乱检测 - **输出**：自主神经功能评估、睡眠质量报告、昼夜节律状态 - **知识库**：HRV-AD关联文献、自主神经功能测试标准、睡眠分期标准 #### Agent 4：情绪行为专家（Emotion-Behavior Agent） - **对应临床角色**：精神科医生 + 心理师 - **输入数据**：EDA + PPG + IMU + 语音（情绪韵律） - **核心能力**： - **BPSD检测与分类**（激越、焦虑、淡漠、日落综合征） - 情绪状态实时推断（多模态融合：EDA唤醒度 + HR激活度 + 语音韵律 + 运动模式） - 激越发作提前预警（1-2小时预警窗口） - 信号消歧（"心率高是因为运动还是激越？"） - 个性化BPSD模式学习 - **输出**：情绪状态评估、BPSD类型判断、风险预警、推理链 - **知识库**：NPI量表12症状维度、BPSD文献、个性化模型训练策略 #### Agent 5：临床诊断专家（Clinical Diagnosis Agent） - **对应临床角色**：老年科/神经内科高年资医生 - **输入数据**：Agent 1-4的评估结果 + 医学情境信息（用药记录、既往病史、量表历史分数） - **核心能力**： - **AD分期判断**（对照2024 Jack修订标准 & GDS分期） - SCD→MCI→轻度→中度→重度 转化风险评估 - 鉴别诊断辅助（AD vs DLB vs VaD vs FTD） - 综合认知指数(CCI)计算与纵向追踪 - 个体化认知轨迹建模（基线建立→趋势检测→拐点识别） - 与金标准对接建议（何时推荐做PET/CSF/血液标志物） - **输出**：综合诊断报告（分期、置信度、推理链）、转诊建议 - **知识库**： - Jack 2024 revised AD诊断分期标准（AT(N)框架） - Atri 2024 AA临床实践指南(DETeCD-ADRD) - Amyloid Cascade Hypothesis - NIA-AA生物学定义框架 - GDS 7阶段分期标准 - CDR评分标准 #### Agent 6：干预治疗专家（Intervention Agent） - **对应临床角色**：治疗师（音乐治疗师、认知训练师、中医师） - **输入数据**：Agent 4情绪评估 + Agent 5分期结果 + 患者偏好档案 - **核心能力**： - **非药物干预决策**： - 音乐疗法（个性化选曲 — 基于患者偏好档案） - 语音引导呼吸/冥想 - 认知训练任务推送 - 怀旧疗法语音引导 - 感官刺激建议 - **语音干预执行**： - 通过手套扬声器播放个性化音乐 - 语音提醒（用药、日程、安全提示） - 认知训练互动（命名、流利性、记忆任务） - **干预效果追踪**： - 干预前后生理指标对比（EDA/HR变化） - 长期干预效果纵向评估 - **用药辅助**： - 用药提醒 - Lecanemab/Donanemab治疗期间ARIA症状监测（头痛、混乱加重→HR+步态不稳检测） - **输出**：干预方案推荐、干预执行指令、效果评估报告 - **知识库**：音乐疗法RCT证据、认知训练方案、非药物干预指南、ARIA监测标准 #### Agent 7：护理管理专家（Care Management Agent） - **对应临床角色**：护理师 + 社工 - **输入数据**：所有Agent评估结果 + 护理者报告 + 环境信息 - **核心能力**： - **分级报告生成**： - 给医生：详细临床报告（数值、置信区间、纵向对比图、推理链） - 给家属：简化版（红黄绿灯风险提示 + 行动建议） - **报告频率管理**（基于李医生需求）： - 稳定期：每周一次简报 - 异常时：立即推送（"发现什么+怎么判断的"） - **护理者负担评估** - **转诊建议触发**（何时建议去医院） - **数据隐私管理**（语音不存原音，只存特征向量） - **输出**：分级报告、预警推送、护理建议、转诊建议 #### Master Coordinator：总协调Agent - **核心职责**： 1. **多Agent结果融合**：加权整合7个Agent的判断 2. **冲突仲裁**：当不同Agent判断矛盾时的决策机制 3. **情境推理**：整合5层情境信息（生理/行为/时间/社会/医学） 4. **信号消歧**：解决"HR升高到底是什么原因"类问题 5. **可追溯推理链**：生成完整推理过程供医生审查 6. **置信度校准**：综合输出的不确定性量化 ### 3.4 情境推理示例 ``` 输入信号：HR↑ + EDA↑ + 步态稳定 + 下午4:30 情境信息：今日家人来访 + 已按时服药 Agent推理链： Agent 3 (自主神经): HR和EDA同时升高 → 交感神经激活 [置信度0.92] Agent 1 (运动认知): 步态稳定、无异常运动 → 排除跌倒/运动因素 [置信度0.95] Agent 4 (情绪行为): 时间在日落综合征窗口但社会情境有正向刺激源 → 情绪激动(非病理) vs 日落综合征前兆 [需要消歧] Master: 综合判断 → "情绪激动(非病理)，因家人来访" 置信度: 0.82 | 推荐: 继续监测，无需干预 ``` --- ## 四、Agent Skill 设计规划（7个核心Skill） 参考2.26 PDF中的项目架构，结合本项目特点，设计以下Agent Skill： ### Skill 1：多模态信号预处理与特征提取 - **功能**：原始传感器数据→标准化特征向量 - **子任务**： - IMU信号滤波、步态事件检测、步态参数提取 - 语音VAD(语音活动检测)、ASR转写、声学+语言特征提取 - PPG信号质量评估、R-R间期提取、HRV计算 - EDA信号分解(Tonic/Phasic)、SCR检测 - **输出格式**：标准化特征JSON，包含时间戳和质量标记 - **关键技术**：信号质量评估 → 低质量数据自动标记/丢弃 ### Skill 2：个体化基线建模与异常检测 - **功能**：建立个体"正常范围" → 检测偏离 - **子任务**： - 基线建立期（佩戴初期2-4周）数据收集与统计建模 - 多模态综合认知指数(CCI)计算 - 纵向趋势检测（LSTM / Change-point detection） - 异常预警（偏离基线>2SD 或 趋势性恶化） - **关键创新**：个体化 — 用自己做自己的对照，而非群体常模 ### Skill 3：AD分期与认知轨迹评估 - **功能**：基于多模态数据判断当前AD阶段 + 预测进展 - **子任务**： - SCD/MCI/轻度/中度/重度 分类 - MCR复合指标计算 - 认知轨迹曲线绘制（CCI随时间变化） - 转化风险预测（3-6个月预后） - **对标金标准**：与MMSE/MoCA/CDR评分建立对应关系 - **关键技术**：多模态融合分类器 + 可解释推理链 ### Skill 4：BPSD检测与预警 - **功能**：BPSD事件检测、分类、提前预警 - **子任务**： - 实时BPSD检测（激越/游荡/睡眠障碍 → 高检测力；焦虑/淡漠 → 中等检测力） - 日落综合征模式识别 - 激越发作提前预警（1-2小时窗口） - BPSD类型分类（决定不同干预策略） - 个性化BPSD模式学习 - **关键技术**：个性化LSTM模型 + 情境信息融合 ### Skill 5：情境感知信号消歧 - **功能**：解决传感器信号歧义问题 - **子任务**： - 5层情境信息整合（生理/行为/时间/社会/医学） - 信号来源归因（"HR高→运动?焦虑?药物?日落综合征?） - 多Agent判断冲突仲裁 - 置信度校准与不确定性量化 - **关键创新**：这是相对现有研究（单模态+简单ML）的核心差异化 ### Skill 6：智能干预决策与执行 - **功能**：基于实时状态选择并执行干预 - **子任务**： - 非药物干预决策（音乐/语音引导/认知训练/提醒） - 个性化干预选择（基于患者偏好档案和历史干预效果） - 通过手套扬声器执行语音干预 - 干预效果实时评估（干预前后生理指标对比） - 长期干预方案优化 - **关键技术**：强化学习优化干预策略 + A/B测试效果评估 ### Skill 7：分级报告生成与通信 - **功能**：面向不同用户生成不同粒度的报告 - **子任务**： - 医生端报告（详细数值+推理链+纵向对比+置信区间） - 家属端报告（红黄绿灯+行动建议） - 异常即时推送（含"发现什么+怎么判断的"三件套格式） - 周报/月报自动生成 - 数据可视化（认知轨迹图、多维雷达图） - **报告频率**（基于李医生需求）： - 稳定期：每周一次 - 异常时：即时推送 - 社区筛查场景：每周一次 --- ## 五、系统工作流程 ### 5.1 日常监测流程 ``` 患者佩戴手套 │ ▼ 持续数据采集（EDA+PPG+IMU+语音） │ ▼ Skill 1: 实时信号预处理与特征提取 │ ▼ Skill 2: 与个体化基线对比 → 异常检测 │ ├── 无异常 → 数据存储 → 累积至周报 │ └── 检测到异常 ──→ Skill 5: 情境消歧 │ ▼ Skill 3: AD分期评估（如需要） Skill 4: BPSD检测（如需要） │ ▼ Skill 6: 干预决策 ├── 需要干预 → 执行（音乐/语音/提醒） └── 需要预警 → Skill 7: 即时推送给医生/家属 ``` ### 5.2 定期评估流程（每周/每月） ``` Skill 2: 汇总周期数据 → 认知轨迹更新 │ ▼ Skill 3: AD分期复评 + 转化风险预测 │ ▼ Skill 7: 生成周报/月报 ├── 医生版：详细报告 └── 家属版：简化报告 ``` --- ## 六、关键技术路线 ### 6.1 硬件 - **手套基板**：柔性PCB，轻量化设计 - **传感器模组**： - EDA：干电极（手指指腹），解决老年皮肤干燥问题 - PPG：绿光+红光双波长（手背/手腕） - IMU：9轴（加速度计+陀螺仪+磁力计） - 麦克风：MEMS麦克风（手背近口位置） - 扬声器：微型扬声器（用于语音干预播放） - **续航要求**：≥7天（基于患者偏好研究，忘记充电是主要障碍） - **防水等级**：IPX7（患者可能忘记摘下洗手/洗澡） - **外观**：消费级外观，去医疗化设计（53.8%患者将外观排第一） ### 6.2 软件架构 - **边缘计算**：手套端MCU做基础信号处理 - **手机端**：中间层数据汇聚、Skill 1-2的轻量推理 - **云端**：Skill 3-7的复杂推理、多Agent协调、模型训练 - **LLM集成**：**Anthropic Claude API** + **Claude Agent SDK** 构建多智能体推理框架 - 每个Agent使用Claude作为推理引擎 - Agent间通过结构化消息协议通信 - Master Coordinator使用Claude的tool_use能力调度各专家Agent - 推理链、报告生成均由Claude完成 ### 6.3 AI模型 - **信号处理**：传统DSP + 轻量CNN - **分类模型**：XGBoost/随机森林（基线）+ Transformer（高级） - **时序模型**：LSTM/TCN（纵向趋势、BPSD预警） - **NLP**：Whisper large-v3（语音转写）+ BERT/GPT（语义分析） - **推理引擎**：LLM-based Agent推理框架 --- ## 七、项目差异化与创新点 1. **多模态融合 + Multi-Agent推理**（vs 现有单模态+简单ML研究） 2. **情境感知信号消歧**（解决临床真实场景中的信号歧义问题） 3. **中文/方言环境**（极度空白的研究领域） 4. **监测+治疗闭环**（不只是监测，还能即时干预） 5. **个体化纵向监测**（每个人是自己的对照） 6. **手套形态**（EDA手指最佳位置 + 手部精细运动 + 佩戴自然） 7. **MDT数字化**（将多学科团队模式转化为多智能体协作） --- ## 八、对标医学金标准 ### 8.1 诊断标准参考 - **Jack 2024 Revised Criteria**：AT(N)框架、Core 1/Core 2生物标志物分类、生物学分期 - **Atri 2024 AA Clinical Practice Guideline (DETeCD-ADRD)**：诊断评估流程、初级保健推荐 - **NIA-AA Framework**：AD生物学定义（症状不是诊断AD的必要条件） - **GDS 7阶段分期**：对应手套系统的分期输出 ### 8.2 系统定位 - 手套系统**不替代**金标准诊断（Amyloid PET/CSF/BBM） - 定位为**筛查+监测辅助工具**： - 早期筛查：发现需要进一步检查的高风险个体 → 转诊做金标准 - 持续监测：已确诊患者的日常状态追踪 - 治疗监测：Lecanemab治疗期间的ARIA症状和认知变化 - 目标AUC：≥0.85（多模态融合，优于单模态） --- ## 九、验证计划 1. **技术验证**：传感器信号质量 vs 医疗级设备对比 2. **算法验证**：各Skill模块在标准数据集上的性能（AUC/准确率/灵敏度/特异性） 3. **临床验证**： - 预实验30例（对标李沫团队方案） - 主研究200例 - 验证实验60例 4. **纵向验证**：≥6个月连续佩戴追踪 5. **多中心验证**：跨医院、跨地区、跨方言 --- --- ## 十、确认决策 | 决策项 | 结论 | 理由 | |-------|------|------| | EEG传感器 | **不加入** | 手套形态不适合EEG采集；用PPG+IMU间接评估睡眠质量 | | LLM推理引擎 | **Claude API + Agent SDK** | Anthropic Claude作为多智能体推理核心 | | 睡眠监测方案 | PPG+IMU替代方案 | PPG检测HR/HRV睡眠变化 + IMU检测体动/翻身 → 间接睡眠分期 | --- ## 十一、后续产出计划 ### 产出1：多智能体代码框架（下一步） - 基于Claude API + Agent SDK搭建7个Agent的代码骨架 - 包含Agent间通信协议、消息格式定义 - 包含Skill 1-7的接口定义和示例实现 - 目录结构： ``` AD/ ├── src/ │ ├── agents/ # 7个专家Agent + Master Coordinator │ │ ├── master_coordinator.py │ │ ├── motor_cognitive_agent.py │ │ ├── language_cognitive_agent.py │ │ ├── autonomic_agent.py │ │ ├── emotion_behavior_agent.py │ │ ├── clinical_diagnosis_agent.py │ │ ├── intervention_agent.py │ │ └── care_management_agent.py │ ├── skills/ # 7个核心Skill模块 │ │ ├── signal_preprocessing.py │ │ ├── baseline_modeling.py │ │ ├── ad_staging.py │ │ ├── bpsd_detection.py │ │ ├── context_reasoning.py │ │ ├── intervention_engine.py │ │ └── report_generator.py │ ├── sensors/ # 传感器数据接口 │ │ ├── eda.py │ │ ├── ppg.py │ │ ├── imu.py │ │ └── microphone.py │ ├── knowledge/ # Agent知识库 │ │ ├── ad_staging_criteria.py │ │ ├── bpsd_guidelines.py │ │ └── intervention_protocols.py │ └── utils/ # 工具函数 ├── config/ # 配置文件 ├── tests/ # 测试 └── docs/ # 文档 ``` ### 产出2：PPT/报告 - 将本plan整理为可汇报的PPT格式 - 包含系统架构图、Agent设计图、技术路线图 - 面向项目答辩/团队沟通场景 --- *规划版本：1.1 | 日期：2026-03-13* *基于resources/和reference/目录下所有文档的综合分析* *已确认：不加EEG、使用Claude API、后续需要代码框架和PPT*