本发明公开了基于CNN和transformer的跨模态人群计数方法，本发明包括以下步骤：将RGB图像和热度图像输入由CNN组成的双分支网络的各分支中，学习双模态图像的模态特定特征；新颖的跨模态transformer连接CNN双分支网络并学习不同模态图像的全局特征，融合模态特定特征和模态全局特征；跨层连接结构连接网络不同层的融合后的特征图，并经分支注意力模块增强融合的特征图的通道信息；跨模态注意力模块提取不同模态间的互补信息，增强跨模态特征表示；将跨模态注意力模块提取的特征图送入尾部网络中，生成密度图；将密度图逐像素相加得到人群计数结果，本发明可以有效完成人群任意分布的拥挤场景下跨模态人群计数任务。