多尺度多模态融合模型对预测性能的影响

为了评估多尺度多模态融合模型对预测性能的影响，以单种图像作为输入的单尺度深度学习模型作为对照组，与MMFCT模型进行对比分析。在单尺度实验中，分别使用SEM图像(图13a)、金相显微镜图像(图13b)、CLSM图像(图13c)作为输入数据，使用单分支卷积神经网络RseNet18进行训练，得到的损失函数、准确率、特异性、灵敏度曲线如表1所示。可以看出，单尺度A相较于其他单尺度具有更好的预测性能，这是因为SEM图能够提供树脂脱落坑、硬脂相脱落坑等与涂层损伤程度有直接关系的微观形貌信息，深度学习网络可以学习到有关特征。而(图13b)和(图13c)由于仅能提供涂层表面整体分布信息，在单尺度学习任务中存在信息不足的问题，导致预测准确率较低。多尺度方法相比单尺度训练具有明显的性能提升，这说明3种图像数据的融合能够提供更加全面的材料微观结构信息，进而提升模型对服役寿命的预测能力。