三菱铅笔公司与东京大学药学研究生院池谷裕二教授以及Storia进行了一个联合研究项目,记录书写工具的运动轨迹以及脑电波,并从书写工具的运动轨迹预测使用者的脑电波。
实验使用了Storia的试制品Penbe,这是一个附件型物联网设备,可以连接到书写工具上并测量书写工具的加速度。具体而言,是指写作动作被启用感应,在写作动作感应的同时,脑电图仪也被连接到受试者身上,以测量大脑额叶的伽马波成分,众所周知,伽马波与注意力和任务表现有关。 为此,实验中使用深度学习方法之一“长短期记忆神经网络方法(LSTM方法)”对书写动作(加速度)和伽马波按时间顺序进行了分析。
以前没有阿拉伯语学习经验的受试者被要求抄写60分钟的阿拉伯语,之后进行各10分钟的绘画和数学测验任务, 在60分钟的阿拉伯语抄写过程中,使用了各种类型的外部干扰(观看视频和自由交谈)来扰乱注意力。
结果显示,在受到外部干扰的时间段内,平均伽马波强度/德尔塔波强度低于受到较少干扰的时间段。这证实了伽马波强度/德尔塔波强度作为注意力程度指标是合理的。
实验中确认到使用LSTM网络方法预测的书写过程中的伽马波/德尔塔波强度比率与实际的伽马波/德尔塔波强度比率相比,在时间序列变化上几乎是一致的。 当伽马波/德尔塔波强度比率高于零的时间段被归类为 “集中”,低于零的时间段被归类为 “不集中 “时,灵敏度(基于书写动作正确预测的脑电波与实际测量的脑电波的百分比)为83.0%。
三菱铅笔公司认为,”该实验表明,LSTM方法可以用来从书写仪器的加速度数据中预测德尔塔波”。 这意味着,在不直接测量脑电波的情况下,可以从日常使用的书写工具中预测大脑状态,这一预测结果将可以应用于教育以及各种作业的测试方面。
根据这项实验,三菱铅笔公司品川研发中心表示:”如果根据日常书写动作预测注意力成为可能,这将能够更加容易的收集到更多数据,这些数据可以用来探索解决各种社会问题,包括实现更高质量的教育。
上述研究成果论文在2023年人工智能学会全国会议上得到了发表。