今天跟大家分享一下 MedRAX 这个由多所知名机构联合推出的AI医学推理智能体，专为胸部X光检查和解决复杂医学问题而设计。
🚀 快速阅读
MedRAX 是一款用于胸部X光检查的医学推理AI智能体。
- 核心功能：整合多种最先进的分析工具，支持多模态推理和动态任务分解。
- 技术原理：基于LangChain和LangGraph框架，使用具备视觉能力的GPT-4o作为核心语言模型。
MedRAX 是什么
MedRAX（Medical Reasoning Agent for Chest X-ray）是专门为胸部X光检查设计的医学推理AI智能体。通过整合最先进的胸部X光分析工具和多模态大型语言模型，MedRAX能够动态利用这些模型解决复杂的医学查询问题，无需额外训练。MedRAX的核心架构基于LangChain和LangGraph框架，使用具备视觉能力的GPT-4o作为核心语言模型，支持本地和云端部署，并通过Gradio构建了生产级的用户界面。
MedRAX的目标是通过多模态推理和多步骤任务分解，帮助医生快速准确地解读胸部X光片，从而提高诊断效率和准确性。
MedRAX 的主要功能
- 多模态医学推理：整合多种最先进的胸部X光（CXR）分析工具和多模态大型语言模型，动态利用这些模型解决复杂的医学查询问题，无需额外训练。
- 多步骤推理支持：将复杂的医疗查询分解为多个子任务，并逐一解决，包括检测、分类、定位、比较、关系分析、诊断和特征描述。
- 强大的工具集成：集成了多种工具，如视觉问答（CheXagent和LLaVA-Med）、图像分割（MedSAM和PSPNet）、病变定位（Maira-2）、报告生成（SwinV2 Transformer）、疾病分类（DenseNet-121）以及X光生成（RoentGen）等。
- 用户友好界面与灵活部署：提供了一个生产级的用户界面，支持本地和云端部署，能够满足不同医疗场景下的隐私和安全需求。
- 性能验证与基准测试：通过ChestAgentBench基准测试，MedRAX在2500个复杂医疗查询中表现出色，覆盖检测、分类、定位等多个核心能力，其性能优于开源和专有模型。
MedRAX 的技术原理
- 核心架构：MedRAX基于LangChain和LangGraph框架构建，使用具备视觉能力的GPT-4o作为核心语言模型。架构支持动态工具编排，能根据复杂的医疗查询自动选择最优的工具组合。
- 多模态推理与工具集成：MedRAX整合了多种工具，实现多模态推理和精准诊断：
- 视觉问答（Visual QA）：基于CheXagent和LLaVA-Med进行复杂的视觉理解和医学推理。
- 图像分割（Segmentation）：使用MedSAM和在ChestX-Det上训练的PSPNet模型进行精确的解剖结构识别。
- 病变定位（Grounding）：通过Maira-2在医学图像中精确定位特定发现。
- 报告生成（Report Generation）：使用在CheXpert Plus上训练的SwinV2 Transformer生成详细的医学报告。
- 疾病分类（Disease Classification）：基于TorchXRayVision中的DenseNet-121检测18种病理类别。
- X光生成（X-ray Generation）：使用RoentGen生成合成的胸部X光。
- 动态推理与多步骤任务分解：MedRAX能将复杂的医疗查询分解为多个子任务，逐一解决。例如，可以识别病变（检测）、对病变进行分类（分类）、精确定位病变位置（定位）、比较病变的变化（比较）、分析病变之间的关系（关系）、进行临床诊断（诊断）以及描述病变特征（特征描述）。
如何运行 MedRAX
1. 安装依赖
# Clone the repository
git clone https://github.com/bowang-lab/MedRAX.git
cd MedRAX
# Install package
pip install -e .
2. 启动 Gradio 界面
# Start the Gradio interface
python main.py
如果遇到权限问题，可以尝试以下命令：
sudo -E env \"PATH=$PATH\" python main.py
3. 设置模型目录
确保在 main.py 中设置 model_dir，指向你希望下载或已经存放工具权重的目录。同时，确保在 .env 文件中配置你的 OpenAI API 密钥。
