PubMedQA

PubMedQA产品介绍

PubMedQA 是一个专注于生物医学研究问题回答的数据集，旨在通过相应的摘要回答研究问题，答案形式为“是/否/可能”。该数据集的任务示例包括：“术前使用他汀类药物是否能减少冠状动脉旁路移植术后的心房颤动？”

数据集包含：1,000个专家标注的问答实例61,200个未标注的问答实例211,300个人工生成的问答实例用户可以通过访问我们的 GitHub 仓库下载数据集和代码。

在提交模型时，用户需遵循 GitHub 仓库中的说明。若在研究中使用 PubMedQA，请引用我们的论文，格式如下：

@inproceedings{jin2019pubmedqa,  title={PubMedQA: A Dataset for Biomedical Research Question Answering},  author={Jin, Qiao and Dhingra, Bhuwan and Liu, Zhengping and Cohen, William and Lu, Xinghua},  booktitle={Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)},  pages={2567--2577},  year={2019}}

在推理需求设置下的排行榜中，模型的表现如下：

GPT-4 (Medprompt) – 准确率：82.0%Med-PaLM 2 – 准确率：81.8%MEDITRON – 准确率：81.6%Palmyra-Med – 准确率：81.1%AntGLM-Med – 准确率：80.6%

其他模型的准确率和代码大小也在排行榜中列出，展示了各个模型在生物医学问答任务中的表现。该排行榜由 Qiao Jin 维护，最后更新于2024年4月28日。