用基础模型嵌入实现病理全切片图像零样本检索，效果初现但仍有提升空间。
Zero-Shot Whole Slide Image Retrieval in Histopathology Using Embeddings of Foundation Models
- 直接使用预训练模型嵌入，不微调也不训练分类器。
- 顶级5项检索平均准确率仅41%，最高达42%。
- 适用于无标注数据的病理图像搜索，适合临床辅助诊断场景。
我们测试了近期发布的病理学基础模型在图像检索中的表现。采用零样本检索方式，不修改嵌入也不训练分类器。以TCGA（The Cancer Genome Atlas）诊断切片为测试数据，涵盖23个器官和117种癌症亚型。通过Yottixel平台进行全切片图像（WSI）检索，基于图像块进行搜索。结果显示：顶1检索的宏平均F1分数较低；顶3检索中多数样本被正确召回；顶5检索的平均准确率为27%±13%（Yottixel-DenseNet）、42%±14%（Yottixel-UNI）、40%±13%（Yottixel-Virchow）、41%±13%（Yottixel-GigaPath）以及41%±14%（GigaPath WSI）。
原文摘要 · Abstract (English)
We have tested recently published foundation models for histopathology for image retrieval. We report macro average of F1 score for top-1 retrieval, majority of top-3 retrievals, and majority of top-5 retrievals. We perform zero-shot retrievals, i.e., we do not alter embeddings and we do not train any classifier. As test data, we used diagnostic slides of TCGA, The Cancer Genome Atlas, consisting of 23 organs and 117 cancer subtypes. As a search platform we used Yottixel that enabled us to perform WSI search using patches. Achieved F1 scores show low performance, e.g., for top-5 retrievals, 27% +/- 13% (Yottixel-DenseNet), 42% +/- 14% (Yottixel-UNI), 40%+/-13% (Yottixel-Virchow), 41%+/-13% (Yottixel-GigaPath), and 41%+/-14% (GigaPath WSI).
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。