近日，山东大学软件学院“智脑助星队”申报的“青春科创报国”院级立项社会实践项目“智绘心桥”启动前期筹备。项目以“科技助残、智能陪伴、情绪调节”为主题，聚焦自闭症儿童在情绪表达、注意力维持与社交互动中的实际需求，探索融合多模态感知与生成式人工智能技术，开发神经反馈绘本交互系统，为特殊儿童辅助训练探索新的技术方向。
自闭症谱系障碍儿童在情绪识别、语言表达、社会交往与注意力调节等方面常面临不同程度的困难。在现有辅助训练方式中，社会故事绘本是常用工具之一，通过图文结合的形式描述社交场景与行为规范，帮助儿童建立场景预期、缓解环境焦虑。但优质的个性化训练内容多由家长、特教教师与康复人员手工制作，不仅专业门槛高、耗费精力多，也很难根据儿童的实时状态动态调整；传统干预训练普遍周期长、个体差异大，固定化的内容与形式难以充分适配每个孩子的成长节奏，提升训练内容的适配性与儿童的参与感，是特教领域持续关注的现实问题。
脑机接口、情绪计算、生成式人工智能与三维交互技术的逐步成熟，为特教辅助训练的形式创新提供了新的可能。依托多模态数据感知使用者状态，并以可视化、故事化的形式输出交互反馈，正成为特殊儿童辅助训练领域具备探索价值的技术路径。
基于对现实需求的观察与技术可行性的判断，项目团队拟构建一套基于多模态感知和生成式人工智能技术的神经反馈绘本交互系统。按照初步设计，系统计划通过OpenBCI采集脑电信号，结合面部表情识别与语音输入等多模态信息，尝试综合判断儿童的注意状态、情绪倾向与参与程度，再由大语言模型生成匹配当前状态的绘本剧情，结合图像生成技术产出对应视觉内容，最终通过Unity3D前端呈现动态交互场景，形成“感知儿童状态—生成个性化内容—动态呈现反馈”的完整交互链路。后端数据处理与模型调用将通过Python完成，开发与测试阶段数据暂存本地。团队明确，项目全程将重视儿童数据隐私与信息安全，严格遵循相关伦理要求。
相较于传统单一指标的状态判断，多模态信息融合的方式尝试为理解儿童状态提供更丰富的参考维度；将神经反馈融入绘本剧情、角色反应与场景变化的设计，也跳出了传统波形、图表式的反馈形式，希望以更具故事性的互动降低儿童参与训练的心理负担。团队同时强调，该系统定位为面向特殊儿童辅助训练与科普实践的探索性工具，不替代医学诊断与专业康复治疗，所有功能与内容均围绕辅助支持展开设计。
本次社会实践于2026年6月20日启动，计划持续至8月30日，在曲静博士的带领下，由软件学院2024级本科生王信嵩担任队长，共11名成员参与，软件学院卜令国教授担任业务导师。现阶段团队主要在山东大学软件学院开展系统设计、软件开发、多模态数据处理、模型调用与三维前端开发等工作，完成系统联调与功能测试后，计划前往相关特教与康复机构开展实地调研，了解一线实际需求与应用边界，结合专业意见优化系统，并适时开展试用验证。
团队表示，希望通过本次实践进一步摸清智能技术在特殊教育场景中的落地难点与伦理要求，探索工科技术与特教需求的结合路径。下一步，团队将按计划推进系统原型开发与功能迭代，持续吸纳特教领域的专业建议，在保障安全与合规的前提下，逐步深化智能交互技术在特教辅助领域的探索。
