医学本质上是多模态的，涵盖文本、影像、基因组学等丰富的数据形式。能够灵活编码、整合并大规模解读此类数据的通用生物医学人工智能 (AI) 系统，有望实现从科学发现到医疗护理的广泛应用。为促进此类模型的开发，我们首先构建了 Multi Med Bench——一个新型多模态生物医学基准测试集，涵盖医学问答、乳腺X光与皮肤镜图像解读、放射学报告生成与摘要、基因组变异检测等14项多样化任务。随后我们提出 Med-PaLM Multimodal (Med-PaLM M) 作为通用生物医学AI系统的概念验证。这个大型多模态生成模型采用统一权重，可灵活编码和解读临床语言、影像及基因组数据。Med-PaLM M 在 Multi Med Bench 所有任务中达到或超越当前最优水平，多数情况下大幅领先专科模型。我们还观察到该模型展现的零样本医学概念迁移能力、跨任务正向迁移学习以及涌现的零样本医学推理能力。为进一步探究 Med-PaLM M 的能力边界，我们邀请放射科医生对模型生成（及人工撰写）的胸片报告进行评估，发现不同规模的模型均表现出色。在246份回顾性胸片的双盲评估中，临床医生对 Med-PaLM M 报告的偏好比例最高达40.50%，预示其临床潜力。虽然实际应用仍需大量验证工作，我们的成果标志着通用生物医学AI系统发展的重要里程碑。

大语言模型(LLMs)有望实现医学知识的民主化获取。尽管已有诸多努力试图利用和提升大语言模型的医学知识与推理能力，但现有成果要么是闭源的(如PaLM、GPT-4)，要么规模有限(≤130亿参数)，制约了其能力表现。本研究通过发布MEDITRON——一套适配医疗领域的70亿和700亿参数开源大语言模型套件，推动大规模医学大语言模型的普及应用。MEDITRON基于Llama-2(通过适配Nvidia的Megatron-LM分布式训练器)，并扩展了经过系统整理的医学语料库预训练，包括精选的PubMed论文、摘要及国际公认医疗指南。在四大医学基准测试中，该模型在任务特定微调前后均展现出显著优于现有技术基线的性能表现。总体而言，MEDITRON在其参数级别中比最佳公开基线实现6%的绝对性能提升，比我们基于Llama-2微调的最强基线高出3%。与闭源大语言模型相比，MEDITRON-70B性能超越GPT-3.5和Med-PaLM，与GPT-4差距在5%以内，与Med-PaLM-2差距在10%以内。我们公开了医学预训练语料库的整理代码及MEDITRON模型权重，以推动更具能力的医学大语言模型的开源发展。