OFFCLIP：对比学习改进法增强放射学CLIP正常样本聚类，提升零样本分类与定位性能 !

admin管理员组

文章数量:1030567

OFFCLIP：对比学习改进法增强放射学CLIP正常样本聚类，提升零样本分类与定位性能 !

对比学习预训练（CLIP）已在放射学中实现了零样本分类，减少了对人工标注的依赖。然而，传统的对比学习在正常病例检测方面存在困难，因为其严格的内样本对齐导致正常样本聚类受阻，从而产生高误报率（FP）和漏检率（FN）。为了解决这些问题，作者提出了OFFCLIP，这是一种对比学习改进方法，通过引入非对角项损失来增强正常样本聚类，并应用句级文本过滤以通过移除异常报告中的错误对齐的正常陈述来减轻FNs。 OFF-CLIP可以在无需进行任何架构修改的情况下应用于放射学CLIP模型。实验结果表明，OFF-CLIP显著提升了正常分类性能，在VinDr-CXR上相对于当前最先进的零样本分类基准CARZero实现了0.61的AUC提升，同时保持或提高了异常分类性能。 此外，OFF-CLIP还通过提高指针游戏的准确性增强了零样本定位，证实了更好的异常定位能力。这些结果证明了OFF-CLIP作为医疗视觉语言模型的有效且高效的增强方式的可靠性。

1 Introduction

深度学习在医学影像领域取得了显著进展[3, 12]，但其对大规模标注数据集的依赖限制了其可扩展性。零样本学习（Zero-shot）通过使模型能够在无需大量手工标注的情况下泛化来解决这一问题。对比学习，尤其是视觉-语言预训练，已成为对大规模图像-文本对进行对齐的强大范式[18]。这种方法已被应用于放射学领域，用于零样本分类和异常检测[10, 15, 19, 20, 22, 23]。

ConVIRT [23] 首次探索了将医疗报告与图像对齐的方法。GLoRIA [10] 引入了文本加权局部注意力机制，而KAD [22] 则结合了领域知识以实现实体感知表示。CheXzero [19] 利用基于CLIP的框架进行胸部X光分类，CARZero [15] 则通过交叉注意力提高了异常情况的对齐效果。

这些方法主要依赖于InfoNCE损失，该损失在相似矩阵（其中为批次大小）中仅对齐匹配的图像-文本配对。这一严格的对角线假设忽略了正常样本之间的关系，迫使语义上相似的正常病例分开，导致高比例的误报（FPs）。如图1-(b)所示，异常报告中的正常陈述引入了不匹配，增加了误检率（FNs），如图1-(c)所示。如表1所示，近期的研究缺乏解决这些问题的策略，往往导致正常AUC低于0.5，使得模型在筛查应用中不可靠。

为了解决这些问题，作者提出了一种名为OFF-CLIP的新颖对比学习框架，该框架旨在优化医学图像-文本对齐。OFF-CLIP引入了一种非对角项损失以增强正常聚类，并采用了一种文本过滤策略来从异常报告中去除正常的陈述，从而减少假阳性（FP）和假阴性（FN）。这些修改提高了正常检测和异常定位的能力，在零样本分类方面超越了CARZero Baseline [15]。

作者指出了医学对比学习中存在两个关键局限性：(i) 常规样本聚类效果差导致大量误报 (FPs)，以及 (i) 异常报告中常规文本的不匹配问题增加了漏报 (FNs)。

作者引入了(i) 对角线外项损失以增强常规样本的聚类，并引入了(i) 文本过滤策略来减轻不匹配问题，从而有效减少了FPs和FNs的数量。

在零样本分类任务中，OFF-CLIP在正常AUC上提高了0.5，并且在异常AUC上保持不变；同时，在零样本定位任务中增强了异常局部化的性能，优于CARZero Baseline 。

2 Method

2.1 Image and Text Encodings

作者采用文本编码器和图像编码器来提取全局和局部特征表示。OFFCLIP 支持基于 ViT [6] 和基于 ResNet [8] 的模型。在本研究中，作者使用 M3AE [4] 预训练的 ViT-B/16 模型，并遵循 CARZero Baseline 。对于文本编码，可以使用任何预训练的 BERT 模型，作者采用 BioBERT [16] 以利用其领域特定的优势。

2.2 Off-Diagonal Term Loss and Abnormal InfoNCE Loss

2.2.1 Baseline Loss

传统的InfoNCE损失函数 formulations 如下：

其中 表示批次大小， 是全局和局部图像-文本特征向量之间的相似性矩阵。可以使用不同的方法来构建 ，而在本研究中作者采用了一种基于交叉注意力的方法[15]。

2.2.2 Off-Diagonal Term Loss

Baseline 损失函数（1）依赖于同一样本内的图像-文本关联，这会导致正常表示的偏差增加，并提高误报（FP）率。为了缓解这一问题，作者引入了一种非对角线项损失，该损失在批次内聚类正常样本，其公式如下：

其中， 是图像和文本潜在表示之间的相似性矩阵， 是 Sigmoid 激活函数，并且 定义为：

每个pair 的伪标签是通过一个预先训练好的放射学句子级异常分类器[14]生成的，详细情况见第2.3节，无需人工标注。这种形式通过强化正常pair之间的正向对齐来扩展CLIP损失，同时保留所有pair的标准对角线对齐，包括异常pair在内。

2.2.3 Abnormal InfoNCE Loss

偏离对角线项损失增加了正常标签的数量，可能会降低对异常情况的敏感性。为了抵消这一影响，作者仅对异常配对应用原始的InfoNCE损失。令表示表2：使用AUC评估的零样本分类性能。OFF-CLIP集成了文本过滤、偏离对角线项损失以及异常InfoNCE损失。作者在VinDr-CXR、Open-I、PadChest和CheXpert上对其进行评估，并将OFF-CLIP应用于CARZero。请注意，由于重新训练了CARZero以确保一致性，结果可能与原始 Baseline 论文有所不同。

以下是翻译后的结果：

数据集	OFF - CLIP	正常	ATE	CM	EMPH	EFF	NOD	PLT	PNA	TOT
VinDr-CXR	x	0.25	0.74	0.91	0.93	0.94	0.47	0.75	0.90	0.79
		0.86	0.84	0.93	0.95	0.94	0.86	0.86	0.83	0.87
Open-I	×	0.32	0.79	0.89	0.83	0.93	0.55	0.73	0.84	0.72
		0.74	0.81	0.90	0.91	0.93	0.60	0.76	0.84	0.81
PadChest	×	0.24	0.78	0.87	0.78	0.95	0.52	0.66	0.80	0.68
		0.77	0.82	0.88	0.89	0.95	0.64	0.81	0.80	0.76
CheXpert	×	0.38	0.73	0.86	-	0.92	-	-	0.65	0.73
		0.81	0.87	0.88	-	0.92	-	-	0.79	0.86

该矩阵仅包含异常相似度分数：

2.2.4 Total Loss

OFF-CLIP 的总损失定义为：

其中 （设置为1）平衡了异常InfoNCE损失，保持了正常样本聚类的同时对异常案例仍具有敏感性。

2.3 Text Prompting and Filtering

2.3.1 Text Prompting

作者使用GPT-4o模型从医学报告中提取Findings和Impressions部分。提取后的文本被重新格式化为结构化的模板：存在疾病（例如，不存在肺炎，左侧肺底部有胸腔积液）。这种结构化格式遵循CARZero [15]，该方法在零样本分类方面已显示出最先进的性能。

2.3.2Pseudo-Label Extraction

由于CLIP训练操作在零监督环境中进行，直接的人类监督不可行。为解决这一问题，作者使用一个预训练的句子 Level 的异常检测模型[14]为放射学领域中的文本分配伪标签，这适用于句子和报告两个层面。每个句子被 Token 为正常、异常或不确定，而报告层面的伪标签则是通过聚合这些句子标签来确定的。如果报告中包含至少一个异常句子，则该报告被分类为异常；若所有句子均为正常或不确定，则报告被 Token 为正常。然后为每对图像-文本分配报告层面的伪标签，以确保图像与其对应的报告具有相同的标签用于对比学习。

2.3.3Text Filtering for False Negative Reduction

为了减少假阴性，作者从异常报告中移除正常和不确定的句子。这避免了对比学习将正常描述错误地与异常图像对齐，或者将正常描述远离正常图像。通过确保异常图像-文本配对的准确性，这一过滤步骤增强了异常检测。

表5：在使用指向游戏进行零样本grounding性能比较时，在VinDr-CXR数据集上使用前10%和前20%注意力值评估CARZero Baseline 和CARZero结合OFF-CLIP的结果。对于每种疾病特定的prompt，评估了注意力图。

3 Experimental Results

3.1 Datasets

作者使用MIMIC-CXR数据集[13]训练OFF-CLIP，该数据集包含377,110张带有关联报告的胸部X光片。仅保留前视图图像；对于包含多个前视图图像的研究，随机选择一张；对于包含多个 Prompt 句子的报告，在每个周期中选择一个。进一步限制训练只使用p10-16文件夹内p10-19范围内的图像。

为了评估和消融研究，作者使用了四个数据集：VinDr-CXR [17]（包含18,000张X光片和28种带有边界框的疾病标注；3,000张用于评估的扫描图像，正常率为68.3%），Open-I [5]（包含7,470张X光片和18种疾病标注），CheXpert [11]（包含224,316张X光片和14种疾病标注；在500个案例上进行评估），以及PadChest [2]（包含160,868张X光片和192种疾病标注；在39,053个手动标注的病例上进行评估）。所有数据集均为公开数据集。MIMIC-CXR、VinDr-CXR和CheXpert需要从PhysioNet获得访问权限。

3.2 Zero-Shot Classification Performance

表2比较了使用和未使用OFF-CLIP的当前最佳CARZero Baseline 在四个测试集上的零样本分类性能，采用AUC作为评估指标。与CARZero相比，OFF-CLIP在平均正常AUC上的相对增益达到了177%，提高了0.50。此外，在多个胸部疾病类别（肺不张、心脏扩大、肺气肿、胸腔积液、结节、胸膜增厚）中的AUC分数也显示出了显著提升，总AUC改善了0.095。这些结果确认，OFF-CLIP有效地降低了由严格损失约束导致的假阴性和正常句子引起的问题报告中的假阳性。

3.3 Ablation Study on Zero-shot classification

作者在Open-I上使用CARZero进行了消融研究，以评估OFF-CLIP各个组件的贡献：文本过滤、对角线外损失以及异常配对InfoNCE损失。表3显示，显著提升了正常检测的效果，与 Baseline 相比，AUC值保持在0.7以上，而在 Baseline 中该值仅为0.3。文本过滤进一步减少了假阴性错误，特别是在与和结合使用时更为明显。表4展示了假阴性和假阳性比率及比例。未使用OFF-CLIP时，模型严重偏向于异常案例，假阳性率接近1。引入平衡了假阴性和假阳性的误分类，将假阳性率从0.99降低到0.5。文本过滤进一步降低了假阴性比率至0.15，同时保持了假阴性和假阳性分布的平衡。这些发现证实，传统的对比学习难以进行正常聚类和对齐调整，而OFF-CLIP有效地解决了这些问题，提高了零样本分类的可靠性。

3.4 Zero-shot Grounding Performance

作者使用指针游戏[21]来评估异常定位，选择top 或高注意力区域，而不是仅选择最高注意力区域。如果任何一个选定区域与 GT bounding box重叠，则该样本被认为是成功的，并且计算每种疾病的成功率。

表5显示，OFF-CLIP 显著改善了注意力对齐情况，相较于 CARZero Baseline 模型有了大幅提高。在10%选择率下，CALC 从0.30 提高到0.59 (+97%)；而在20%选择率下，PTX 从0.63 提高到1.00 (+58.73%)。图3进一步揭示，尽管CARZero的注意力分布较为分散，但OFF-CLIP的注意力则集中在GT区域上。这些结果证实了OFF-CLIP在零样本定位和异常检测方面的优越性。

4 Conclusion

OFF-CLIP 解决了放射学 CLIP 模型中的两个关键限制：由于正常样本聚类效果差导致的过多假阳性以及由于异常报告中误导性的正常文本而产生的高假阴性。通过广泛的消融研究，作者使用假阳性和假阴性分析量化了它们的影响。

通过引入非对角相似性损失项 ((\mathcal{L}_{o f f})) 和文本筛选策略，OFF-CLIP 显著提高了正常检测性能（AUC 提升至 0.50，平均提高 (177%)），并增强了异常定位能力（注意力对齐最多提升 (97%)）。

尽管 OFF-CLIP 在 CARZero 上进行了评估，但其框架无关的设计表明它可能适用于其他模型。进一步验证对于评估其在不同架构上的有效性及其在实际临床环境中的应用潜力至关重要。

参考

[0]. OFF-CLIP: Improving Normal Detection Confidence in Radiology CLIP with Simple Off-Diagonal Term Auto-Adjustment .

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2025-04-14，如有侵权请联系 cloudcommunity@tencent 删除异常框架模型数据性能

OFFCLIP：对比学习改进法增强放射学CLIP正常样本聚类，提升零样本分类与定位性能 !

对比学习预训练（CLIP）已在放射学中实现了零样本分类，减少了对人工标注的依赖。然而，传统的对比学习在正常病例检测方面存在困难，因为其严格的内样本对齐导致正常样本聚类受阻，从而产生高误报率（FP）和漏检率（FN）。为了解决这些问题，作者提出了OFFCLIP，这是一种对比学习改进方法，通过引入非对角项损失来增强正常样本聚类，并应用句级文本过滤以通过移除异常报告中的错误对齐的正常陈述来减轻FNs。 OFF-CLIP可以在无需进行任何架构修改的情况下应用于放射学CLIP模型。实验结果表明，OFF-CLIP显著提升了正常分类性能，在VinDr-CXR上相对于当前最先进的零样本分类基准CARZero实现了0.61的AUC提升，同时保持或提高了异常分类性能。 此外，OFF-CLIP还通过提高指针游戏的准确性增强了零样本定位，证实了更好的异常定位能力。这些结果证明了OFF-CLIP作为医疗视觉语言模型的有效且高效的增强方式的可靠性。

1 Introduction

深度学习在医学影像领域取得了显著进展[3, 12]，但其对大规模标注数据集的依赖限制了其可扩展性。零样本学习（Zero-shot）通过使模型能够在无需大量手工标注的情况下泛化来解决这一问题。对比学习，尤其是视觉-语言预训练，已成为对大规模图像-文本对进行对齐的强大范式[18]。这种方法已被应用于放射学领域，用于零样本分类和异常检测[10, 15, 19, 20, 22, 23]。

ConVIRT [23] 首次探索了将医疗报告与图像对齐的方法。GLoRIA [10] 引入了文本加权局部注意力机制，而KAD [22] 则结合了领域知识以实现实体感知表示。CheXzero [19] 利用基于CLIP的框架进行胸部X光分类，CARZero [15] 则通过交叉注意力提高了异常情况的对齐效果。

这些方法主要依赖于InfoNCE损失，该损失在相似矩阵（其中为批次大小）中仅对齐匹配的图像-文本配对。这一严格的对角线假设忽略了正常样本之间的关系，迫使语义上相似的正常病例分开，导致高比例的误报（FPs）。如图1-(b)所示，异常报告中的正常陈述引入了不匹配，增加了误检率（FNs），如图1-(c)所示。如表1所示，近期的研究缺乏解决这些问题的策略，往往导致正常AUC低于0.5，使得模型在筛查应用中不可靠。

为了解决这些问题，作者提出了一种名为OFF-CLIP的新颖对比学习框架，该框架旨在优化医学图像-文本对齐。OFF-CLIP引入了一种非对角项损失以增强正常聚类，并采用了一种文本过滤策略来从异常报告中去除正常的陈述，从而减少假阳性（FP）和假阴性（FN）。这些修改提高了正常检测和异常定位的能力，在零样本分类方面超越了CARZero Baseline [15]。

作者指出了医学对比学习中存在两个关键局限性：(i) 常规样本聚类效果差导致大量误报 (FPs)，以及 (i) 异常报告中常规文本的不匹配问题增加了漏报 (FNs)。

作者引入了(i) 对角线外项损失以增强常规样本的聚类，并引入了(i) 文本过滤策略来减轻不匹配问题，从而有效减少了FPs和FNs的数量。

在零样本分类任务中，OFF-CLIP在正常AUC上提高了0.5，并且在异常AUC上保持不变；同时，在零样本定位任务中增强了异常局部化的性能，优于CARZero Baseline 。

2 Method

2.1 Image and Text Encodings

作者采用文本编码器和图像编码器来提取全局和局部特征表示。OFFCLIP 支持基于 ViT [6] 和基于 ResNet [8] 的模型。在本研究中，作者使用 M3AE [4] 预训练的 ViT-B/16 模型，并遵循 CARZero Baseline 。对于文本编码，可以使用任何预训练的 BERT 模型，作者采用 BioBERT [16] 以利用其领域特定的优势。

2.2 Off-Diagonal Term Loss and Abnormal InfoNCE Loss

2.2.1 Baseline Loss

传统的InfoNCE损失函数 formulations 如下：

其中 表示批次大小， 是全局和局部图像-文本特征向量之间的相似性矩阵。可以使用不同的方法来构建 ，而在本研究中作者采用了一种基于交叉注意力的方法[15]。

2.2.2 Off-Diagonal Term Loss

Baseline 损失函数（1）依赖于同一样本内的图像-文本关联，这会导致正常表示的偏差增加，并提高误报（FP）率。为了缓解这一问题，作者引入了一种非对角线项损失，该损失在批次内聚类正常样本，其公式如下：

其中， 是图像和文本潜在表示之间的相似性矩阵， 是 Sigmoid 激活函数，并且 定义为：

每个pair 的伪标签是通过一个预先训练好的放射学句子级异常分类器[14]生成的，详细情况见第2.3节，无需人工标注。这种形式通过强化正常pair之间的正向对齐来扩展CLIP损失，同时保留所有pair的标准对角线对齐，包括异常pair在内。

2.2.3 Abnormal InfoNCE Loss

偏离对角线项损失增加了正常标签的数量，可能会降低对异常情况的敏感性。为了抵消这一影响，作者仅对异常配对应用原始的InfoNCE损失。令表示表2：使用AUC评估的零样本分类性能。OFF-CLIP集成了文本过滤、偏离对角线项损失以及异常InfoNCE损失。作者在VinDr-CXR、Open-I、PadChest和CheXpert上对其进行评估，并将OFF-CLIP应用于CARZero。请注意，由于重新训练了CARZero以确保一致性，结果可能与原始 Baseline 论文有所不同。

以下是翻译后的结果：

数据集	OFF - CLIP	正常	ATE	CM	EMPH	EFF	NOD	PLT	PNA	TOT
VinDr-CXR	x	0.25	0.74	0.91	0.93	0.94	0.47	0.75	0.90	0.79
		0.86	0.84	0.93	0.95	0.94	0.86	0.86	0.83	0.87
Open-I	×	0.32	0.79	0.89	0.83	0.93	0.55	0.73	0.84	0.72
		0.74	0.81	0.90	0.91	0.93	0.60	0.76	0.84	0.81
PadChest	×	0.24	0.78	0.87	0.78	0.95	0.52	0.66	0.80	0.68
		0.77	0.82	0.88	0.89	0.95	0.64	0.81	0.80	0.76
CheXpert	×	0.38	0.73	0.86	-	0.92	-	-	0.65	0.73
		0.81	0.87	0.88	-	0.92	-	-	0.79	0.86

该矩阵仅包含异常相似度分数：

2.2.4 Total Loss

OFF-CLIP 的总损失定义为：

其中 （设置为1）平衡了异常InfoNCE损失，保持了正常样本聚类的同时对异常案例仍具有敏感性。

2.3 Text Prompting and Filtering

2.3.1 Text Prompting

作者使用GPT-4o模型从医学报告中提取Findings和Impressions部分。提取后的文本被重新格式化为结构化的模板：存在疾病（例如，不存在肺炎，左侧肺底部有胸腔积液）。这种结构化格式遵循CARZero [15]，该方法在零样本分类方面已显示出最先进的性能。

2.3.2Pseudo-Label Extraction

由于CLIP训练操作在零监督环境中进行，直接的人类监督不可行。为解决这一问题，作者使用一个预训练的句子 Level 的异常检测模型[14]为放射学领域中的文本分配伪标签，这适用于句子和报告两个层面。每个句子被 Token 为正常、异常或不确定，而报告层面的伪标签则是通过聚合这些句子标签来确定的。如果报告中包含至少一个异常句子，则该报告被分类为异常；若所有句子均为正常或不确定，则报告被 Token 为正常。然后为每对图像-文本分配报告层面的伪标签，以确保图像与其对应的报告具有相同的标签用于对比学习。

2.3.3Text Filtering for False Negative Reduction

为了减少假阴性，作者从异常报告中移除正常和不确定的句子。这避免了对比学习将正常描述错误地与异常图像对齐，或者将正常描述远离正常图像。通过确保异常图像-文本配对的准确性，这一过滤步骤增强了异常检测。

表5：在使用指向游戏进行零样本grounding性能比较时，在VinDr-CXR数据集上使用前10%和前20%注意力值评估CARZero Baseline 和CARZero结合OFF-CLIP的结果。对于每种疾病特定的prompt，评估了注意力图。

3 Experimental Results

3.1 Datasets

作者使用MIMIC-CXR数据集[13]训练OFF-CLIP，该数据集包含377,110张带有关联报告的胸部X光片。仅保留前视图图像；对于包含多个前视图图像的研究，随机选择一张；对于包含多个 Prompt 句子的报告，在每个周期中选择一个。进一步限制训练只使用p10-16文件夹内p10-19范围内的图像。

为了评估和消融研究，作者使用了四个数据集：VinDr-CXR [17]（包含18,000张X光片和28种带有边界框的疾病标注；3,000张用于评估的扫描图像，正常率为68.3%），Open-I [5]（包含7,470张X光片和18种疾病标注），CheXpert [11]（包含224,316张X光片和14种疾病标注；在500个案例上进行评估），以及PadChest [2]（包含160,868张X光片和192种疾病标注；在39,053个手动标注的病例上进行评估）。所有数据集均为公开数据集。MIMIC-CXR、VinDr-CXR和CheXpert需要从PhysioNet获得访问权限。

3.2 Zero-Shot Classification Performance

表2比较了使用和未使用OFF-CLIP的当前最佳CARZero Baseline 在四个测试集上的零样本分类性能，采用AUC作为评估指标。与CARZero相比，OFF-CLIP在平均正常AUC上的相对增益达到了177%，提高了0.50。此外，在多个胸部疾病类别（肺不张、心脏扩大、肺气肿、胸腔积液、结节、胸膜增厚）中的AUC分数也显示出了显著提升，总AUC改善了0.095。这些结果确认，OFF-CLIP有效地降低了由严格损失约束导致的假阴性和正常句子引起的问题报告中的假阳性。

3.3 Ablation Study on Zero-shot classification

作者在Open-I上使用CARZero进行了消融研究，以评估OFF-CLIP各个组件的贡献：文本过滤、对角线外损失以及异常配对InfoNCE损失。表3显示，显著提升了正常检测的效果，与 Baseline 相比，AUC值保持在0.7以上，而在 Baseline 中该值仅为0.3。文本过滤进一步减少了假阴性错误，特别是在与和结合使用时更为明显。表4展示了假阴性和假阳性比率及比例。未使用OFF-CLIP时，模型严重偏向于异常案例，假阳性率接近1。引入平衡了假阴性和假阳性的误分类，将假阳性率从0.99降低到0.5。文本过滤进一步降低了假阴性比率至0.15，同时保持了假阴性和假阳性分布的平衡。这些发现证实，传统的对比学习难以进行正常聚类和对齐调整，而OFF-CLIP有效地解决了这些问题，提高了零样本分类的可靠性。

3.4 Zero-shot Grounding Performance

作者使用指针游戏[21]来评估异常定位，选择top 或高注意力区域，而不是仅选择最高注意力区域。如果任何一个选定区域与 GT bounding box重叠，则该样本被认为是成功的，并且计算每种疾病的成功率。

表5显示，OFF-CLIP 显著改善了注意力对齐情况，相较于 CARZero Baseline 模型有了大幅提高。在10%选择率下，CALC 从0.30 提高到0.59 (+97%)；而在20%选择率下，PTX 从0.63 提高到1.00 (+58.73%)。图3进一步揭示，尽管CARZero的注意力分布较为分散，但OFF-CLIP的注意力则集中在GT区域上。这些结果证实了OFF-CLIP在零样本定位和异常检测方面的优越性。

4 Conclusion

OFF-CLIP 解决了放射学 CLIP 模型中的两个关键限制：由于正常样本聚类效果差导致的过多假阳性以及由于异常报告中误导性的正常文本而产生的高假阴性。通过广泛的消融研究，作者使用假阳性和假阴性分析量化了它们的影响。

通过引入非对角相似性损失项 ((\mathcal{L}_{o f f})) 和文本筛选策略，OFF-CLIP 显著提高了正常检测性能（AUC 提升至 0.50，平均提高 (177%)），并增强了异常定位能力（注意力对齐最多提升 (97%)）。

尽管 OFF-CLIP 在 CARZero 上进行了评估，但其框架无关的设计表明它可能适用于其他模型。进一步验证对于评估其在不同架构上的有效性及其在实际临床环境中的应用潜力至关重要。

参考

[0]. OFF-CLIP: Improving Normal Detection Confidence in Radiology CLIP with Simple Off-Diagonal Term Auto-Adjustment .

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2025-04-14，如有侵权请联系 cloudcommunity@tencent 删除异常框架模型数据性能

本文标签： OFFCLIP对比学习改进法增强放射学CLIP正常样本聚类，提升零样本分类与定位性能