Method

生成器内部逻辑

生成器是 4 层嵌套循环, 由一个 progression ∈ [0,1] 变量贯穿全部模态. progression 形态决定退化曲线, 退化系数同时调制传感器统计 / EMA 情绪 / 量表分数 / note 模板, 实现跨模态一致性.

1. 4 层嵌套结构

每个虚拟 patient 的所有数据都从这棵树展开 — 自上而下传递 progression, 自下而上聚合一致性.

L1 · Persona

5 名虚拟患者. 配置 age / gender / education / progression_pattern / cognitive_reserve / bpsd_prone.

L2 · Day (× 30)

逐日 progression(t) 由 pattern 计算 → 乘以 reserve_factor → effective_progression.

L3 · Modality

{Sensor, EMA, Survey, Note, BPSD} — 每个模态从同一 progression 派生.

L4 · Sample

具体样本: 一段 60 s sensor segment / 一条 EMA / 一次量表填答 / 一条临床 note.

2. 5 种 progression 模式

每位 persona 被分配一种 progression 形态, 描述 30 天内退化的形状. effective_progression = raw × cognitive_reserve.

30 天 effective_progression (5 模式)真实数据 from data/patients/P0X/progression.csv

/

Linear

逐日均匀退化, 无明显事件. P01 (edu=12, reserve=0.85).

⇗

Stepwise

稳定 → 跳到下台阶. P02 (edu=6, reserve=1.15, 显症).

⌢

Plateau

初期下降后稳定. P03 (edu=16, reserve=0.65, 高储备掩盖).

∿

Fluctuation

日间波动叠加慢退化. P04 (BPSD prone).

⚡

Acute Event

急性事件 (跌倒/谵妄) 后陡降. P05.

3. 退化系数表 (sensor)

设 p = effective_progression. 每条 baseline 统计量按下表线性调制, 系数取自李医生访谈与文献先验.

模态	统计量	调制公式	方向	临床解释
IMU	svm_std	× (1 + 0.5 p)	↑	步态变异度增加
IMU	jerk	× (1 + 0.7 p)	↑	动作不平稳
IMU	step_freq	× (1 - 0.2 p)	↓	步频减慢
PPG	hr_std (HRV)	× (1 - 0.3 p)	↓	HRV 衰退 (autonomic)
PPG	hr_mean (静息)	+ 4·p	↑	静息心率轻度升高
EDA	gsr_mean	× (1 - 0.2 p)	↓	皮肤电反应减弱
EDA	scr_count	× (1 - 0.4 p)	↓	SCR 频次降低

4. BPSD 事件注入流程

90% 患病率的行为精神症状 (Behavioral and Psychological Symptoms of Dementia) 按 progression-conditional 概率插入. 触发当日 EMA mood / anxiety 与 sensor HR 同步异常.

01

采样

每日 P(event) = 0.05 + 0.3 · p · bpsd_prone

02

类型抽取

{wandering, agitation, sleep_disturb, hallucination}

03

时长 / 时点

duration ~ N(30, 15) min, hour ∈ [13, 17] (sundowning)

04

跨模态写入

EMA anxiety↑ + HR↑ + IMU 异常活动 (wandering)

5. 🎤 第 5 模态: 语音 — 不合成, 但有两种用途

生成器目前合成 4 个模态 (Sensor / EMA / Survey / Note). 语音是第 5 个模态, 但不在 v2.2 中合成 — 原因是我们只采集了健康人语音 baseline (中文/方言), 没有真实 AD 患者中文对话数据, 凭空合成会脱离真实分布, 误导系统训练. 等拿到 ADReSS / MultiConAD 中文部分后再加入.

为什么不合成?

只采集了健康人语音 baseline (中文 / 方言)
没有真实 AD 患者中文对话数据
凭空合成会脱离真实分布, 误导系统训练
等拿到 ADReSS / MultiConAD 中文部分后再加入真实人群

⬇

1️⃣ INPUT — 实时认知推断

患者日常对话 → ASR (Whisper large-v3) + 声学特征 (F0, jitter, shimmer) + 语言学特征 (TTR, 停顿率, 语义连贯性) → Audio Agent → 认知状态.

Whisper large-v3 F0 / jitter / shimmer TTR pause rate semantic coherence

⬆

2️⃣ OUTPUT — 实时治疗互动

AI 生成语音回应 → 通过手套扬声器播放, 覆盖 4 类干预:

音乐疗法 — 个性化选曲 (A 级证据)
呼吸引导 — BPSD 激越前 1–2 小时预警时启动
认知训练 — 命名 / 流利性 / 记忆任务
怀旧疗法 — 语音引导回忆

未来数据源 (语音模态接入计划) 待数据落地后补 v2.3

来源	语种	类型	状态
ADReSS Challenge (DementiaBank)	英文	AD 对话 + 量表	已有访问申请模板
MultiConAD — TAUKADIAL	中文 + 多语	AD 多模态会话	待联系
MultiConAD — iFlytek	中文	语音 + ASR	待联系
MultiConAD — NCMMSC2021	中文	AD 检测 challenge	已知

6. 认知储备机制

教育年限 (edu) 决定 cognitive_reserve_factor. 高储备掩盖症状 (effective_progression < raw_progression), 低储备显症提前. 模型自 Stern 2002 储备假说.

高教育者凭借认知储备 (cognitive reserve) 可在大脑实际损伤已发生时, 仍维持表面正常的认知表现. 同样的 raw_progression 在临床上表现得更轻 — 这正是 MMSE 量表对高教育者敏感度低的根本原因 (李医生采访 1.1 节).

Education (yrs)	Reserve factor	临床效果	本项目示例
16+	0.65	强 — 量表落点低估真实病理	P03 (大学)
12	0.85	中等 — 接近 raw progression	P01, P05
9	1.00	对照基准	P04
≤6	1.15	弱 — 症状提前显化	P02 (小学)

认知储备效应: 高教育掩盖早期症状同一 raw_progression, 5 档教育水平对应的 effective_progression