一、主要进展成效

本案例基于AI多模态评价体系，并融合了大数据分析、图像识别、语义理解和语音识别等人工智能技术。平台能够对采集到的课程资源进行智能分析，譬如对教学内容的审核和评估，对教学过程中的互动模式、学生的参与度以及教师的教学风格等多个维度进行量化和评价。学校管理层、一线教师和学生可以借助分析报告，完善评价流程，优化教学方法，提升课程质量，也能改善学习体验。

（一）研究背景。当前教学评估普遍存在评价方式单一、内容不全面、效率低下等问题。通过建立基于人工智能的多模态评价体系，可以更好地促进师生的专业成长和教学方法的改进，从而推动教育质量的提升。

1. 评价方式单一。教与学是过程性的行为，传统的评价方式往往只关注期末测评，而忽略了教学过程中的每一堂课。新的评价方式应该强调对每一堂课的过程性评价，将师生参与教学活动的全部信息都纳入到评价范围内。

2. 评价内容不全面。通过问卷调查进行课程评价的方式目前存在一系列矛盾，复杂的问卷内容设计可能导致操作性差，而简单的设计可能缺乏针对性。因此对于评价内容的设计需要平衡现象和本质的关系，确保评价内容既全面又具有针对性。

3. 评价手段低效。人工评价方式耗时耗力，且难以保证对优秀或问题课堂评价的全面覆盖。利用人工智能技术可以提高效率，实现更广泛的课堂覆盖，确保评价的全面性和准确性。

（二）建设思路。

1.元数据采集。元数据智能采集对教学平台、智慧教室产生的教学数据进行结构化管理；支持对接第三方平台，并能获取教学数据。展示AI课堂质量分析，针对一节课进行AI分析数据能够图表化呈现，包括：教学过程数据、课堂评价数据、资源建设数据等教学过程中的重点数据，同时授课过程视频、前排就座率、ST分析图、课堂专注度、积极行为分析、消极行为分析，课堂质量曲线，能够具体到学生个人的行为分析及排名；可以按照课表自动切换不同课程的分析结果。

2.智能模型定义。根据智慧教学的数据源建立数据模型，有针对性对教学场景进行数据分析，包括：单次课堂质量评价分析模型、学生积极行为分析模型、学生消极行为分析、教师行为分析模型、课堂质量专注度分析模型、督导巡课评价模型等，可按照学校实际要求，建设相关数据分析模型。

建立学生积极行为分析模型，能够分析包括：阅读书写、注视黑板、起立等积极行为；结合人脸识别技术，建立学生个人的分析数据、课堂积极行为数据；同时建立学生消极行为分析模型，能够分析包括：趴桌子、使用手机、转身、吃东西、传递东西等消极行为，建立学生个人的分析数据、课堂消极行为数据，同时建立课堂质量专注度分析模型，能够根据学生在课堂中的实际行为，分析学生在授课过程中的专注度，为课堂质量评价分析提供数据基础。

建立教师行为分析模型，对课堂板书、课堂讲授、课堂巡视、多媒体演示等教室授课行为进行分析。也能分析讲授型、练习型、互动型、混合型等授课类型。建立督导巡课评价，能够支持在线的巡课评价，能够支持AI自动巡课评价，根据学校实际情况建立评分体系和评价模型，实现在线课程评价。

3.驾驶舱生成。基于元数据和数据模型建立校级智慧教学驾驶舱，围绕教学过程线上智慧教学平台数据、线下智慧教室数据、巡课督导数据、教学评价数据等数据进行分析与提取，形成教学驾驶数据，以图表形式呈现，为校级决策提供数据基础；按照学校的实际情况，根据学校需求自定义智慧教学驾驶舱的核心数据分析，对教学过程、教学评价、教学质量给出定性、定量的评价，以图表形式呈现。

展示学生和老师所有教学数据，形成单个学生和老师的数据画像。评价机制中评价主要表现为两种形式。学生评价是经过长期的、有目的、有计划地收集、记录学生学习和训练过程和技能成效的信息收集物。教师评价是经过长期的、有目的、有计划地收集、记录教师教学指导情况和成果的信息收集物，诸如教学计划、指导方案、作业方案等。主要用来记录学生的个人学习状况和老师的个人教学状况，对于学生方面可以记录学生的学习过程，教师通过学生的记录了解和评价学生的学习过程和结果。由此，教学评价报告才能更广泛地应用，才能真正长出“锋利的牙齿”。

（三）建设成效。基于人工智能的多模态分析评价系统自搭建以来，已在我校通识教育学院顺利运行一个学期。该系统自动采集并分析了近千节课程的数据，显著提升了课程评价反馈的时效性，增幅达到了95%。系统不仅涵盖了计算机类和人工智能相关专业的课程分析，还扩展至国际贸易、机械等非人工智能专业的领域。这一应用使全校师生能够更轻松地接触和学习人工智能技术，为构建一个智能化的学习环境打下了坚实的基础。

1.推动教学评价数字化转型。教育数字化转型注重以需求驱动教育研究和实践范式变革，通过将人工智能技术融入教育领域的各个层面，可实现教学范式、组织架构、教学过程、评价方式、教育治理等全方位的创新与变革。借助人工智能技术融合多终端、多设备、多平台数据，实现教学数据和行为数据的整合和分析，构建精准化学习系统；借助人工智能大数据技术，针对教学行为数据进行分析，改进课堂教学模式和评价方式，强化数据挖掘和分析，建立全面的评价机制，提升教学管理标准化、智能化。

2.提升学校教学评价管理能力。以课堂为核心，通过全方位、无感知、即时的教与学过程数据分析，辅助学校做出科学的决策，进而有针对性地改善教学质量。收集、汇聚形成完整的教育大数据体系，构建多层次动态评价指标体系，开展数据挖掘、分析，实施标准化、精细化、智能化的教育管理和科学决策，并为教师提供相应的课程教学方法改进建议。

3.推进人工智能技术与教育教学深度融合。深化通识教育改革，构建“311”通识课程体系，推动人工智能技术与教育教学深度融合，探索人工智能与人文素养教育融合的新场景，提升师生智能化素养，打造人工智能应用示范案例，培养具备人工智能思维和创新实践能力的优秀毕业生。

二、存在的问题

（一）教师评价维度较少。目前，对于教师的评价主要依赖于行为分析和授课类型这两个维度，这些指标相对有限，难以全面反映教师的教学表现。为了实现对教师的全方位评价分析，我们将引入更多维度的数据采集场景和分析指标，以便更深入、全面地评估教师的教学效果。

（二）能力引擎有待升级。目前采用的人工智能技术，如自然语言处理引擎，虽然具有一定的通用性，但还不足以全面支持所有教学分析场景。好在人工智能技术处在飞速发展状态，大模型引擎等先进解决方案不断涌现，为教学分析提供了更强大、更精细的工具。

（三）实施范围窄。当前仅在学校的部分通识课程中得到应用，覆盖的课程数量相对较少，对学生整体学习状况的分析指标还不够全面。为了更深入地了解学生的学习情况，需要扩大评价体系的应用范围，增加更多的分析维度，并持续完善现有的指标，以形成对学生学习状况的全面评估。

三、下一步工作思路

（一）评价维度拓展。通过升级现有模型技术，进一步深入解析教师的课堂教学内容，从维持课堂秩序的管理层面，拓展至对课程教学内容的全面深入分析，从而实现对教学过程更为精准和全面的评估。

（二）AI引擎升级。基于多模态分析技术，再开发一套多维度的综合教学评价方案。这个方案将包括声纹识别引擎和大模型引擎，对教学过程中的师生对话音频进行声纹角色分离分析，提高课堂自主评价的准确性和有效性；对教师使用的课件与授课计划进行匹配度分析，进一步完善课程评价指标体系。

（三）应用全面推广。当前的多模态评价体系主要应用于通识学院的人工智能通识教育课程中，其覆盖范围相对有限。未来我们计划将这一评价体系广泛推广至更多专业课程中，以全面提升教学质量和效果。

（本文系2024年福建省高校教育评价改革推进会经验交流材料）