行人检索任务是指通过特定人物的图像、视频或文本描述，在数据库中寻找包含对应人物的图像或视频的这一过程，该技术在公共安全领域有着广泛应用，例如，警察根据犯罪嫌疑人的照片，利用监控系统去寻找嫌疑人。然而，现实中的检索方往往仅有对目标人物的文本描述，缺乏对应的人物图片，这对行人检索技术提出了新的挑战。文本行人检索技术使得检索方可以在海量数据中迅速找到目标人员，这不仅能大幅度提升检索效率，还能节省大量人力资源，具有极高的应用价值。

文本行人检索的过程如图 1所示，文本行人检索任务要从行人图像数据源中，找出与文本描述匹配的行人图像。相较于传统的基于图像的行人检索任务^[1-3]，基于文本描述去检索行人的任务因为文本的获取相对比较容易，因而更加符合现实场景。

文本行人检索任务涉及到自然语言处理和计算机视觉两个研究领域，且存在着不同模态特征之间难以对齐的问题。早期，为了解决这些问题，研究人员提出了基于注意力机制的文本行人检索方法^[4-8]，但这些方法忽略了文本和图像之间的语义联系，导致文本和图像特征的匹配效果不尽如人意。

近年来，以对比语言-图像预训练模型(Contrastive Language-Image Pre-training model，CLIP)^[9]为代表的视觉语言预训练模型在挖掘图像与文本特征之间的关联性方面展现了巨大的潜力，因此，基于CLIP的文本行人检索方法逐渐引起人们的关注。Jiang等^[10]利用CLIP进行随机文本掩码和隐式关系推理，Bai等^[11]则通过引入基于动量的替换令牌检测和掩码语言模型进一步优化了这一过程。这些方法依赖CLIP来匹配文本与图像之间的关系，并在检索效果上超越了当前主流的单模态预训练模型，但是CLIP本身更关注行人图像与描述文本词汇之间的特征匹配，因而难以在语义特征粒度上很好地对行人图像和描述文本特征进行匹配。

综上所述，针对现有跨模态文本行人检索方法对图文语义关系缺乏关注，以及忽略了文本与图像特征粒度存在差异所导致的跨模态检索复杂性的问题，本研究提出了一个粒度统一的跨模态文本行人检索网络模型(Granularity-unified Cross-modal Text-person Retrieval model，GCTR)。首先，GCTR采用CLIP提取行人图像和文本特征，对跨模态特征进行粗匹配；然后，利用跨模态特征增强模块(Cross-Modal Feature Enhancement module，CMFE)学习文本描述的语义特征，指导模型在语义粒度上对行人图像和描述文本相匹配的特征进行增强；最后，通过整合局部和全局的匹配损失策略，实现更精确的语义信息匹配。

1 相关工作 1.1 跨模态文本行人检索网络模型

基于注意力机制的方法主要通过分配权重给图像和文本之间的特征来揭示它们的图像文本关联性^{[4, 12]}，从而完成行人检索任务。Zheng等^[13]提出的双向注意力机制网络，可以同时处理图像对文本以及文本对图像的关注点，实现特征层面上的双向对齐，为跨模态文本行人检索领域的研究开辟了思路。

Li等^[14]提出的GNA-RNN网络模型将每个单词的热编码与VGG网络^[15]提取的图像特征进行拼接，并通过LSTM网络处理^[16]，最终利用注意力机制分配特征权重，计算文本与图像的亲和力得分。然而，Chen等^[17]指出，GNA-RNN网络模型会导致某些单词的特征权重过高，因此他们通过引入自适应阈值，对权重分配单元进行改善，确保图文匹配过程中重要信息得到全面考虑。然而，这些方法仍然停留在全局层面上对特征进行处理，忽略了对局部特征的关注。

为了解决对局部细节发现不足的问题，Wang等^[18]提出了ViTAA网络模型，从属性对齐的角度出发，将全局特征空间分解到对应属性的子空间，再使用对比学习的方法实现图像特征与文本属性的对齐。但Gao等^[19]指出，ViTAA网络模型未能捕捉到隐藏的高级抽象语义信息，导致某些文本描述与图像区域无法正确对齐。Niu等^[20]尝试通过融合图像局部特征与全局特征的语义信息来改善这一问题，但此方法主要局限于图像部位，缺乏对相关短语特征之间深层语义关联性的探索。因此，本研究将面向如何结合全局特征与局部特征，深入挖掘图像与文本属性特征之间的语义关联性展开研究。

1.2 CLIP

CLIP^[9]是一个能够实现强大的跨模态特征对齐效果的视觉语言预训练模型。CLIP主要根据以下4个步骤实现跨模态语义对齐：①基于Transformer架构对图像和文本进行编码，获得它们的特征表达；②计算图像和文本表达之间的余弦相似度，依据匹配的图像文本对在特征空间中的相似度更高，不匹配的图像文本对相似度更小的准则学习特征相似性矩阵；③利用类别词构建文本描述模板，并利用训练好的编码器对文本描述进行编码；④利用训练好的图像编码器对图像进行编码，根据图像-文本相关矩阵，找到相似度最高的图像-文本配对特征，最终得到正确的类别预测。

CLIP通过融合基于Transformer架构的图像和文本编码器，在大规模的图像文本对上应用对比学习策略，成功捕获到丰富的视觉-语言关联信息，挖掘出具有高度关联性的跨模态特征。特别是它在没有大量标注数据的情况下，仅仅通过理解文本与图像之间的关系，一样能够高效、准确地执行检索任务的能力^[21-24]。Jiang等^[10]提出的IRRA证明了完整的CLIP模型可以迁移、应用于文本行人检索任务中，并通过微调模型，使得IRRA超越了众多先进的文本行人检索方法。这展现了CLIP能够迁移到其他跨模态任务上的巨大潜力。因此，本研究将CLIP作为特征提取骨干网络来获取文本描述和行人图像之间的特征表达。

2 方法

图 2是本研究提出的GCTR。首先，对于给定的一组行人图像V和对应的文本描述T，使用CLIP的双流编码器来提取图像和文本特征。其次，为了深入挖掘文本与图像之间语义层面上统一粒度的高质量特征，本研究设计了CMFE，用来获取在语义层面上统一粒度的文本增强特征和图像增强特征。最后，采用局部、全局匹配损失策略以及多样性的正则化约束策略来调整特征对齐损失函数，提高模型对文本特征与图像特征的对齐能力。

2.1 CMFE

为了在语义层面上统一跨模态文本图像特征粒度，CMFE接收CLIP获取的文本特征和图像特征，通过自注意力机制获取文本特征的深层语义信息，然后利用深层语义信息对文本特征和图像特征分别进行增强指导，从而获得在语义粒度上更加一致的跨模态特征。图 3展示了CMFE的详细设计，CMFE由3个模块组成，包括跨模态特征增强码表(Enhanced Cross-modal Feature Codebook，ECFC)、文本特征增强模块(Text Feature Reinforced module，TFR)和图像特征增强模块(Image Feature Reinforced module，IFR)。ECFC能够获取文本的深层语义信息并进行文本特征重构，CMFE利用ECFC重构的文本特征去指导TFR和IFR，生成语义粒度匹配的文本特征和图像特征。同时，为了减轻图像背景对图像增强特征的干扰，本研究在图像增强模块中设计了专注于行人图像特征信息的行人卷积采样模块(People Convolution Sampling module，PCS)。

2.1.1 ECFC

ECFC如图 3(b)所示，其采用Transformer架构来生成文本特征增强矩阵码表D_bar，其中D是随机初始化的码表。将单词级文本序列特征T_N作为Q(Query)，初始码表D∈R^o×d作为K(Key)和V(Value)，其中N表示单词级文本序列的特征长度，o表示码表序列个数，d表示维度，则有

$ Q=T_N W_q, K=D W_k, V=D W_v, $

(1)

其中，W_q、W_k和W_v为可学习参数，特征码表计算过程表示如下：

$ D^{\prime}=\operatorname{softmax}\left(\frac{Q K^{\mathrm{T}}}{\sqrt{d}}\right) V, $

(2)

$ \operatorname{FFN}\left(D^{\prime}\right)=\operatorname{ReLU}\left(D^{\prime} W_1+b_1\right) W_2+b_2, $

(3)

$ D_{\mathrm{bar}}=\operatorname{concat}\left(\mathrm{FFN}\left(D^{\prime}\right), D^{\prime}\right), $

(4)

其中，W₁、W₂表示可学习参数，b₁、b₂表示偏置数。首先通过自注意力机制对初始码表D进行处理，得到与文本语义信息加权融合后的特征码表D′，再经过FFN网络层后得到与原有文本特征相似的文本特征增强矩阵码表D_bar。ECFC算法流程如算法1所示。

算法 1  ECFC算法流程

输入：文本特征序列T_N={t₁, t₂, …, t_N}和空码表D={}

输出：文本特征增强矩阵码表D_bar

1：初始化可学习参数W_q、W_k和W_v；

2：按公式(1)计算Q、K和V；

3：$ D^{\prime}=\operatorname{softmax}\left(\frac{Q K^{\mathrm{T}}}{\sqrt{d}}\right) V $；

4：初始化可学习参数W₁、W₂和偏置数b₁、b₂；

5：FFN(D′)=ReLU(D′W₁+b₁)W₂+b₂；   //计算码表预测结果

6：D_bar=concat(FFN(D′), D′)；   //残差连接和归一化

7：Output D_bar

2.1.2 TFR

TFR通过多头注意力来融入码表的语义信息，从而获取带有词向量关联性的文本特征，过程如图 3(a)所示。TFR使用单词级文本序列特征T_N作为多头注意力的Q_t，文本特征增强矩阵码表D_bar作为K_t和V_t，应用多头注意力后得到特征增强后的文本特征，过程表示如下。

$ Q_t=T_{\mathrm{N}} W_t^Q, K_t=D_{\mathrm{bar}} W_t^K, V_t=D_{\mathrm{bar}} W_t^V, $

(5)

其中，W_t^Q, W_t^K, W_t^V为可学习参数矩阵。文本增强特征$\hat{T}_N$的计算过程如下。

$ \operatorname{Attention}\left(Q_t, K_t, V_t\right)=\operatorname{softmax}\left(\frac{Q_t K_t^{\mathrm{T}}}{\sqrt{d_t}}\right) V_t, $

(6)

$ \hat{T}_N=\operatorname{Attention}\left(Q_t, K_t, V_t\right) \odot T_N, $

(7)

其中，⊙表示点乘运算，d_t是特征向量V _t的维度。

2.1.3 IFR

IFR的操作与TFR类似，如图 3(c)所示。以图像局部特征V_M作为Q_i，M表示图像序列的特征长度，使用文本特征增强矩阵码表D_bar作为K_i和V_i，再计算多头注意力，最后获得与文本语义粒度相统一的图像特征。为保持跨模态信息之间的关联性，CMFE使用了多头注意力参数共享策略^[25]。考虑到图像背景会对前景身份造成信息干扰，IFR还设计了一个包含1×1的卷积和Sigmoid函数的PCS模块，用于增强前景身份的信息表达，以减少无关信息的噪声数据干扰。将V_M输入多头注意力模块与PCS模块后得到图像增强特征$\hat{V}_M$。

$ \hat{V}_M=\operatorname{Attention}\left(Q_i, K_i, V_i\right) \odot \operatorname{Sigmoid}\left(\operatorname{Conv}\left(V_M\right)\right), $

(8)

图像特征增强的具体流程如算法2所示。对比于原来的图像局部特征V_M，增强后的$\hat{V}_M$不仅携带有与文本相同粒度的语义特征，还增强了包含行人身份的前景信息表达，这有助于文本特征与图像特征达到更好的匹配对齐效果。

算法 2  IFR算法流程

输入：图像特征序列V_M={v₁, v₂, …, v_M}和文本特征增强矩阵码表D_bar={d₁, d₂, …, d_N}

输出：图像增强特征$\hat{V}_M$

1：Q_i=V_MW_i^Q；

2：K_i=D_barW_i^K；

3：V_i=D_barW_i^V；

4：$ V_A=\operatorname{softmax}\left(\frac{Q_i K_i^{\mathrm{T}}}{\sqrt{d_i}}\right) V_i$；   //计算融合图像特征V_A

5：F=Conv_1×1(V_M)；   //压缩人物特征信息

6：F′=Sigmoid(F)；   //计算前景人物权重概率

7：$\hat{V}_M$=T_AF′；

8：Output $\hat{V}_M$

2.2 跨模态对齐损失函数

受文献[26]的启发，本研究采用了交叉熵损失作为码表预测损失。设文本输入特征为T，真实标签向量为y，码表标签预测的概率为$\hat{y}$，码表预测损失可表示为

$ L_D(T)=-\sum y \log (\hat{y}) \text { 。} $

(9)

对于模型匹配损失，本研究使用CMPM+CMPC损失策略来进行对局部特征的对齐。输入文本增强特征$\hat{T}_N$和图像增强特征$\hat{V}_M$，局部损失可表示为

$ \begin{aligned} &~~~~~~~~~~~ L_{\text {Local }}=\sum\left(L_{\mathrm{CMPM}}\left(\hat{T}_N, \hat{V}_M\right)+L_{\mathrm{CMPC}}\left(\hat{T}_N, \right.\right. \\ & \left.\left.\hat{V}_M\right)\right) \text { 。} \end{aligned} $

(10)

L_CMPM通过KL散度来最小化不同身份的文本特征与图像特征之间的相似度，最大化相同身份的文本特征与图像特征之间的相似度，加入L_CMPC旨在鼓励相同身份的特征表达能力，以区分不同身份的特征表达。此外，对于一批图像-文本对，还引入了交叉双向三重排序(Triplet)损失来完成对全局特征匹配损失的优化，全局损失表示如下：

$ \begin{gathered} ~~~~~~~~~~~~~~~~~~L_{\text {Global }}=L_{\text {Triplet }}=\max \left(\alpha-S\left(V_M, T_N\right)+S\left(V_M, \right.\right. \\ \left.\left.T_N^{-}\right), 0\right)+\max \left(\alpha-S\left(V_M, T_N\right)+S\left(V_M^{-}, T_N\right), 0\right), \end{gathered} $

(11)

其中, (V_M, T_N)表示匹配的图像-文本正样本对，(V_M, T_N^-)，(V_M^-, T_N)表示不匹配的图像-文本负样本对，α是一个边距超参数，S表示余弦相似度计算度量。

此外，每个模态内不同的粒度特征应该聚焦于不同信息，因此，对于不同的粒度特征，可通过添加多样性约束L_Div来避免信息冗余，提高模型对多粒度细节的敏感性。多样性约束表示如下：

$ \begin{aligned} & ~~~\quad L_{\mathrm{Div}}=\sum\limits_{i=1} \sum\limits_{j=1, i \neq j}\left(\frac{v_i, v_j}{\left\|v_i\right\|_2\left\|v_j\right\|_2}+\right. \\ & \left.\frac{t_i, t_j}{\left\|t_i\right\|_2\left\|t_j\right\|_2}\right), \end{aligned} $

(12)

其中，v_i和t_i分别为图像和文本在不同粒度下的特征，通过计算它们与其他粒度特征v_j和t_j的相似性，来确保它们在信息上不相似。

整个模型的总体损失表示为

$ L=L_D+L_{\text {Local }}+L_{\text {Global }}+\lambda L_{\text {Div }}, $

(13)

其中，λ为控制训练过程中多样性损失的参数。

GCTR模型的完整流程如算法3所示。

算法 3  GCTR模型算法流程

输入：图像V和文本T，参数λ

输出：对齐后的图像特征V′和文本特征T′

1：V_M, T_N=CLIP(V, T)；   //CLIP获取图像特征和文本特征

2：D={}；            //初始化码表D

3： D_bar=ECFC(T_N, D)；   //使用增强码表ECFC获得码表D_bar

4：$\hat{T}_N$=TFR(T_N, D_bar)；   //使用TFR模块获得增强文本特征$\hat{T}_N$

5：$\hat{V}_M$=IFR(V_M, D_bar)；   //使用IFR模块获得增强图像特征$\hat{V}_M$

6：L_D(T)=-∑ylog($\hat{y}$)；   //计算码表损失

7：L_Global=L_Triplet=max(α-S(V_M, T_N)+S(V_M, T_N^-), 0)+max(α-S(V_M, T_N)+S(V_M^-, T_N), 0)；   //计算全局损失

8：L_Local=∑(L_CMPM($\hat{T}_N$, $\hat{V}_M$)+L_CMPC($\hat{T}_N$, $\hat{V}_M$))；   //计算局部对齐损失

9：$ L_{\mathrm{Div}}=\sum\limits_{i=1} \sum\limits_{j=1, i \neq j}\left(\frac{v_i, v_j}{\left\|v_i\right\|_2\left\|v_j\right\|_2}+\right.\left.\frac{t_i, t_j}{\left\|t_i\right\|_2\left\|t_j\right\|_2}\right)$；   //进行多样性约束L_Div

10：L=L_D+L_Local+L_Global+λL_Div；   //计算总损失

11：return V′, T′

3 实验结果与分析 3.1 数据集 3.1.1 CUHK-PEDES

CUHK-PEDES数据集^[17]是一个公用的基于文本行人检索的大规模基准数据集。它包含40 206张图片和关于13 003个行人的80 412个文本描述，每张图片都有手工标注的2个文本描述，每个文本描述的平均长度不低于23个单词。表 1为CUHK-PEDES数据集的数据分布情况。

3.1.2 ICFG-PEDES

ICFG-PEDES数据集^[27]从MSMT17数据集^[28]收集、整理得到，每张图片只有1个文本描述，每个文本描述的平均长度为37个单词。它包含54 522张图片和4 102个不同身份行人。表 2为ICFG-PEDES数据集的数据分布情况。

3.1.3 RSTPReid

RSTPReid数据集^[29]基于MSMT17数据集^[28]构建，是专为基于文本的人物重新识别设计的一个新数据集。它包含20 505张图片和4 101个不同身份的行人，图片由15个不同角度的摄像头拍摄而成，每个人物都有5张不同摄像头拍摄的照片，每张图片都有2个文本描述。表 3为RSTPReid数据集的数据分布情况。

3.2 评价指标

本研究使用Rank-K(K=1，5，10)作为本研究实验的性能评价指标，它是本领域常用的性能评估指标。具体来说，在模型返回的图片排序列表中，前K张行人图片存在与文本描述一致的检索目标则称为Rank-K命中，Rank-K指标越高说明模型的检索性能越好。

3.3 实验设置

本研究全部实验在单张Nvidia GeForce RTX 4080 GPU上进行，处理器使用Intel Core i9-10980XE CPU @ 3.00 GHz×36，开发环境为Python 3.7，PyTorch 1.13.0，Cuda 11.7，实验的具体参数设置如表 4所示。

3.4 对比实验 3.4.1 在CUHK-PEDES数据集上进行的对比实验分析

表 5为GCTR与主流行人重识别模型在CUHK-PEDES数据集上的对比结果，可以看出GCTR均取得了最佳的结果。GCTR优异的检索性能，得益于它引用了CLIP来构建匹配网络，使其能够更好地挖掘图像、文本的先验知识，使用CLIP图像和文本编码器来获取底层特征的效果, 比使用单一模态的预训练特征编码器来提取跨模态特征的效果要好。在CUHK-PEDES数据集上，GCTR比CFine^[39]在Rank-1、Rank-5、Rank-10上分别提升0.70%、2.20%、1.31%，证明了GCTR的跨模态特征增强模块能更好地提取到具有统一粒度的图像、文本特征，实现更精准的图像文本特征对齐。

3.4.2 在ICFG-PEDES数据集上进行的对比实验分析

表 6为GCTR与主流行人重识别模型在ICFG-PEDES数据集上的对比结果。GCTR相比于目前使用单-模态特征提取网络达到最好效果的LGUR^[37]相比，在Rank-1、Rank-5、Rank-10上分别有2.21%、1.84%、1.13%的提升，证明了使用CLIP提取模态特征的效果比使用单模态特征提取网络的效果要好。而相比于CFine，GCTR在Rank-1、Rank-5、Rank-10上也分别提升0.40%、0.61%、0.27%。CFine也受益于使用CLIP预训练模型，从而获得了很好的图像、文本模态特征，但是，GCTR仍能取得比CFine更好效果的原因可能是GCTR具有挖掘局部特征信息的能力, 以及统一了特征粒度。

3.4.3 在RSTPReid数据集上进行的对比实验分析

表 7表示为GCTR与主流行人重识别模型在RSTPReid数据集上的对比结果。在RSTPReid数据集上，GCTR比CFine在Rank-1、Rank-5、Rank-10上分别提升2.00%、3.85%、1.16%，对比使用单一模态预训练特征提取网络的模型LGUR，在Rank-1、Rank-5、Rank-10上分别获得5.85%、6.35%、3.96%的提升，这证明了对CLIP提取的特征使用本研究提出的跨模态粒度特征增强模块能够减小图像-文本特征的粒度差异，进而提高了图像-文本特征之间的匹配效果。对于RSTPReid这种具有复杂场景的数据集，GCTR在Rank-1、Rank-5、Rank-10上的效果没有比在CUHK-PEDES和ICFG-PEDES数据集上提升的效果明显，原因可能是模型缺少对具有遮掩性人物的认知，对于复杂场景下的识别效果不足。与CSKT^[38]相比，GCTR在Rank-1和Rank-5上分别有0.80%、0.25%的提升，而在Rank-10上则存在着差距，实验效果不如CSKT的原因可能是在关系学习上，CSKT能够更好地学习到对于符合同一个文本描述的相似行人的信息差异，而GCTR则更着重于关注图像与文本特征的粒度差异。

3.5 消融实验 3.5.1 结构性消融实验

消融实验在CUHK-PEDES数据集上进行。如表 8所示，No.0表示采用ImageNet数据集预训练的ViT和Bert作为图像和文本的特征提取基准模型，与使用CLIP，以及增加CMFE中TFR、IFR和PCS模块的模型进行对比实验。

首先，将No.0和No.1进行比较，对比基准模型，本研究模型在加入了CLIP后，在Rank-1上提升7.88%。相比于单模态图像文本特征提取预训练模型，跨模态预训练模型具有更强的提取跨模态语义特征的能力，这证明了CLIP的有效性。对比表 8的No.1与No.2，CMFE中TFR模块和IFR模块的加入使模型在Rank-1上提升3.48%，这说明增强统一文本与图像的粒度特征，能帮助模型在文本与图像之间获取更强大的匹配联系能力。从No.1与No.3的比较中可以看出，在加入PCS模块后，完整的CMFE使得加入CLIP之后的模型在Rank-1上继续提升了4.93%，证明了CMFE的有效性。从No.2与No.3的比较中可以发现，PCS模块的补充让模型在Rank-1上提升了1.45%，证明了PCS模块能够有效地增强行人图像中重要的前景特征信息，同时抑制背景中的噪声干扰因素，从而与文本相似特征进行更好地匹配。

3.5.2 局部-全局匹配策略实验分析

对于Rank-1的最大值与最小值，本研究针对不同损失策略，每10个epoch进行了一次准确率对比，如表 9所示。本研究所使用的损失策略No.5使得Rank-1在整体上都高于其他策略，与目前最好的策略No.4相比，Rank-1最低都有约1%的提升。单纯使用CMPM+CMPC损失这种通用损失策略(No.3)落后于使用CMPM+CMPC损失进行局部特征对齐以及Triplet损失进行全局特征的损失策略(No.4)，因为CMPM+CMPC损失更关注局部人物信息在文本描述特征上的投影匹配，对于人物与文本全局信息的样本信息配对缺乏关注，而Triplet损失在文献[40, 41]上已经证明了其在全局样本匹配对上具有好的效果。因此，本研究在使用CMPM+CMPC损失进行局部特征对齐的基础上，对全局特征使用Triplet损失策略，加强了模型对于全局信息的关注。

3.5.3 α和λ的参数设置实验分析

图 4和图 5描述了在CUHK-PEDES数据集上进行的α和λ参数设置实验，发现边距参数α设置为0.2时实验的效果最好，多样性损失的参数λ设置为0.3时实验效果最好。

3.5.4 可视化实验分析

图 6为模型在CUHK-PEDES数据集上进行检索的可视化图。图 6(a)为3位不同行人的查询文本。图 6(b)展示了查询文本中目标单词对应图像特征的关注热力图，可以看出本研究模型更注重于单词所匹配的局部关注点，以获取更好的检索效果。

图 6(c)为不同模型实际检索到的前10张图片。每个样本的第一行为GCTR的检索结果，第二行为“基准模型+CLIP”的检索结果。绿色框图为正确匹配的行人图片，红色为错误匹配的行人图片，图片中的蓝色框和黄色框表示文本与图像的区域匹配点。从图 6(c)可以看出，本研究模型在处理目标行人图像时，能够更加精确地捕捉和匹配行人的特征细节，从而提高检索结果的准确性。相比于基准模型的检索结果，本研究模型对目标行人图像的特征关注契合度更高，检索结果更准确，这表明本研究所提出的模型具有较高的实用价值和可靠性。

4 结论

本研究提出了一种粒度统一的跨模态文本行人检索网络模型(GCTR)，引入具备跨模态迁移知识能力的对比语言-图像预训练模型(CLIP)作为特征提取的核心网络来获取具有基础关联性的文本和图像特征，并设计了一个跨模态粒度特征增强模块(CMFE)，它利用多模态特征增强码表提炼出增强的文本和图像特征，获取到具有统一粒度的图像文本特征。在图像特征增强方面，CMFE整合了人物前景信息，以进一步提升图像特征的表达力，有效地减少了背景噪声对行人特征表达的干扰。CMFE实现了特征粒度的统一，精确捕获了图像块与单词之间的对应关系。实验结果充分验证了所提出模型的有效性和优越性，在公共安全领域存在着广阔的应用前景。

然而，本研究的工作也存在一些局限性。首先，尽管CMFE能够处理复杂场景下的跨模态信息，但其泛化能力和在极端条件下的鲁棒性还有待进一步提高。在未来的工作中，将计划从提升模型对于极端场景(如低分辨率、复杂背景等)的处理能力以及对增强模型的泛化能力和鲁棒性等方面进行进一步研究和改进。