为了解决复杂背景跟踪中光照灵敏度高、鲁棒性差的问题，提出了一种基于Sia-mFC网络的多模态余弦相似双网络人脸跟踪算法。首先，结合可见光图像和红外光图像信息的互补优势，设计了多模态输入，并基于peleenet网络、空洞卷积和可分离卷积的思想，设计了轻量级特征提取模块进行特征提取。其次，采用余弦相似操作代替互相关操作，增加相似背景与非相似域之间的距离，提高跟踪定位精度。最后，在公共数据集、RGBT234ChokePoin和自制数据集上对算法的性能进行了评估。实验结果表明，该算法在跟踪效果、平滑跟踪速度、推理速度等方面具有较高的综合性能，推理速度达到115.7%。它能很好地处理遮挡、光干涉、运动模糊等因素的影响，具有很强的实时性和鲁棒性。