Projects项目

Multimodal foundation models and visual reasoning

多模态大模型

多模态大模型方向把文字、图像、视频、音频和医学视觉放进同一个能力地图：从 LongLLaVA/MileBench 的长上下文视觉理解，到 TRIM 的视觉 token 压缩、ShareGPT-4o-Image/Janus-4o 的开放图像生成，再到 Video-R1、HuatuoGPT-Vision 和 FusionAudio 这类面向推理、医疗和音频场景的模型与数据。

Open Multimodal LLMs Open LongLLaVA and MileBench Open ShareGPT-4o and Janus-4o
Long-context multimodal LLM architecture

相关论文整理

  1. LongLLaVA: Scaling Multi-modal LLMs to 1000 Images Efficiently：长上下文多图像理解和推理。
  2. MileBench: Benchmarking MLLMs in Long Context：多图像、视频和长视觉上下文评测。
  3. TRIM: Less is More for Efficient Multi-modal LLMs：减少冗余视觉 token，降低多模态推理成本。
  4. ShareGPT-4o-Image and Janus-4o：开放 GPT-4o 风格图像生成/编辑数据和统一多模态模型。
  5. Video-R1: Reinforcing Video Reasoning in MLLMs：把 R1-style reasoning training 扩展到视频理解。
  6. HuatuoGPT-Vision：面向医学视觉知识注入的多模态医学大模型。
模型 / 数据 / 代码入口Multimodal stack
Project多模态大模型总览视觉理解、视觉生成、视频推理、医学视觉和音频多模态。 ProjectLongLLaVA and MileBench长上下文多模态模型和 benchmark。 ProjectShareGPT-4o-Image and Janus-4o开放图像生成/编辑数据和统一多模态模型。 GitHubFreedomIntelligence/LongLLaVA长上下文多模态模型资源。 GitHubFreedomIntelligence/TRIM高效多模态 token reduction。 GitHubHuatuoGPT-Vision医学视觉语言模型和数据资源。
Efficient training, inference, retrieval, and multimodal context

LLM efficiency and AI Infra

这条线把“能不能跑得起、训得动、改得快”作为项目主题，覆盖推理路径剪枝、question-free fine-tuning、prefix fine-tuning、editable efficient RAG、长上下文多模态和 token reduction。

Open LLM Infra Open LongLLaVA and MileBench Open Data Infrastructure
LLM efficiency and AI infrastructure

相关论文整理

  1. Cut Your Losses! Learning to Prune Paths Early for Efficient Parallel Reasoning：提前剪枝低价值推理路径。
  2. Question-Free Fine-Tuning: Towards Efficient and Adaptive Reasoning in Large Language Models：面向高效自适应推理的 QFFT。
  3. The First Few Tokens Are All You Need：UPFT，用极少前缀 token 进行高效无监督推理微调。
  4. E2-RAG: Towards Editable Efficient RAG by Editing Compressed KV Caches：编辑压缩 KV cache，面向快速更新场景。
  5. LongLLaVA: Scaling Multi-modal LLMs to 1000 Images Efficiently：长上下文多图像多模态推理。
  6. TRIM: Less is More for Efficient Multi-modal LLMs：减少视觉 token，降低多模态推理成本。
GitHub / 资源入口Infrastructure stack
GitHubFreedomIntelligence/LongLLaVA长上下文多模态模型。 GitHubFreedomIntelligence/TRIM高效多模态 token reduction。 GitHub1KE-JI/UPFTUnsupervised prefix fine-tuning resources。 GitHubFreedomIntelligence/RAG-InstructRetrieval-augmented instruction data。 GitHubFreedomIntelligence/LLMZoo开放模型和训练资源集合。
Reasoning, RL, and adaptive test-time compute

LLM Reasoning & Agentic RL

This project organizes the lab's recent work on verifiable reasoning, policy optimization, path pruning, code-integrated thinking, and multimodal R1-style training. The through-line is simple: make LLMs reason with feedback signals that are inspectable, efficient, and useful for downstream agents.

Open LLM Reasoning & Agentic RL Open Math and Optimization Papers from Benyou Wang
LLM reasoning and agentic reinforcement learning project signal

Paper organization

  1. OnePO: Direct One-stage Policy Optimization for SFT-free Domain Adaptation - direct policy optimization without a separate SFT stage.
  2. CRPO: Character-centric Group Relative Policy Optimization for Role-aware Reasoning in Role-playing Agents - RL objectives for role-aware reasoning agents.
  3. Question-Free Fine-Tuning - efficient and adaptive reasoning fine-tuning.
  4. Cut Your Losses! Learning to Prune Paths Early for Efficient Parallel Reasoning - learnable path pruning for large reasoning models.
  5. Video-R1: Reinforcing Video Reasoning in MLLMs - R1-style reinforcement learning for multimodal video reasoning.
  6. CoRT: Code-integrated Reasoning within Thinking - executable computation inside the reasoning process.
Project stackReasoning papers, code, and datasets
ProjectSTOP / Cut Your LossesEarly path pruning for efficient parallel reasoning. GitHubVideo-R1Video-R1-CoT and RL training resources for video reasoning. GitHubCoRTCode-integrated reasoning resources. GitHubUPFTUnsupervised prefix fine-tuning for efficient reasoning models.
Agents, applications, simulators, and human-agent interaction

LLM Agents, Applications & Human-Agent Interaction

This project groups papers where LLMs become agents and interactive systems: tool planners, user simulators, standardized patients, role-playing agents, market participants, speech-to-speech systems, and micro-world actors. The goal is to organize agent papers by what the agent does, what environment it acts in, how it interacts with humans, and how the interaction is evaluated.

Open Agent Applications Open Interaction Details Papers from Benyou Wang
LLM agents and applications project map

Paper organization

  1. Smurfs: Multi-Agent System using Context-Efficient DFSDT for Tool Planning - multi-agent tool planning with context-efficient search.
  2. Large Language Model as a User Simulator - LLM users for dialogue training and evaluation.
  3. PlatoLM: Teaching LLMs via a Socratic Questioning User Simulator - Socratic interaction as a training signal.
  4. Human or LLM as Standardized Patients? - AI patients for medical education and evaluation.
  5. Human or Machine? A Preliminary Turing Test for Speech-to-Speech Interaction - human-likeness evaluation for speech-to-speech interaction.
  6. TwinMarket: A Scalable Behavioral and Social Simulation for Financial Markets - LLM investor agents in market simulation.
  7. MicroVerse - agentic micro-world simulation for scientific processes.
Project stackAgent applications and environments
PaperSmurfsMulti-agent tool planning through context-efficient DFSDT. GitHubEasyMEDAI standardized patient framework and evaluation resources. ProjectTwinMarketFinancial market simulation with LLM agents. ProjectMicroVerseMicro-world simulation with hidden mechanisms and evolving states.
Environment engineering and world models

环境工程和世界模型

这条线把“模型能力”放进可运行环境中：定义状态、行动、工具、用户、规则、世界动力学和评测对齐，让智能体能在用户模拟、金融市场、科学微世界和可执行优化环境中训练、评测和迭代。

Open Environment Engineering Benyou Wang Papers
Environment engineering connects agents, environments, co-evolution, and real-world alignment

相关论文整理

  1. MicroVerse: A Preliminary Exploration Toward a Micro-World Simulation：把 world model 扩展到器官、细胞和亚细胞过程，强调隐藏机制、状态演化和科学约束。
  2. TwinMarket: A Scalable Behavioral and Social Simulation for Financial Markets：用 LLM 投资者构造金融市场环境，从个体信念和信息流生成宏观行为。
  3. From Economic Agents to Agentic Economies：把智能体、环境、共演化和真实世界对齐组织成经济世界模型的系统蓝图。
  4. Large Language Model as a User Simulator：用 LLM 构造可控用户环境，为多轮对话训练和评测提供可重复交互对象。
  5. ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling：把自然语言问题转成优化模型、约束、目标函数和可执行代码。
  6. CALM Before the STORM：研究优化建模中的原生推理能力，把工程问题组织成可验证建模环境。
项目 / 论文 / 代码资源Environment stack
Project环境工程和世界模型组织环境定义、智能体接口、世界动力学和评测对齐的总览页。 ProjectEconomic World Models经济世界模型架构、能力阶梯和 agentic economies。 ProjectTwinMarket金融市场中的多智能体社会仿真环境。 ProjectMicroVerse面向生物和科学机制的微世界模拟。 GitHubCardinal-Operations/ORLM自动化优化建模训练框架和 benchmark。 GitHubtangzhy/STORMCALM/STORM 优化建模推理资源。
Phone-use agents and mobile workflow execution

Mobile Agent

这条线把手机变成通用智能体的真实执行场：从隐私与安全评测，到可控手机环境、GUI / CLI / tool mixed-action harness，再到面向真实 App workflow 的 open model 训练，让 phone-use agents 能可靠、安全、可审计地完成任务。

Open Mobile Agent Open PhoneHarness Open Dataset
PhoneHarness mobile agent overview

相关论文整理

  1. Do Phone-Use Agents Respect Your Privacy?：用 MyPhoneBench 评测手机智能体的权限、披露和记忆控制风险。
  2. Safe, or Simply Incapable?：区分真正安全、危险行动和“什么也做不好”的失败。
  3. PhoneWorld：把真实 GUI 轨迹和截图转成可复用、可执行、可验证的手机环境。
  4. PhoneHarness：用 GUI、CLI 和 tool action 的混合动作空间评测真实手机工作流完成度。
  5. PhoneBuddy：结合真实 App 环境和 mock phone environment 训练开放 phone-use agent 模型。
项目 / 代码 / 数据资源Mobile agent stack
ProjectMobile Agent手机智能体的评测、安全、环境、harness 和训练路线总览。 ProjectPhoneHarnessMixed GUI、CLI 和 tool action 的手机智能体项目主页。 GitHubPhoneHarness/PhoneHarnessPhone-use agent harness 和 evaluation workflow 代码。 HF DatasetPhoneHarness Bench手机智能体 mixed-action benchmark 数据资源。
From instructions to runnable games, CAD scripts, solvers, and code

Agentic Creation & Executable Artifacts

这条线关注的不是“模型说得像不像”，而是智能体能不能把自然语言需求变成真正可运行、可渲染、可验证的产物。代表任务包括生成可玩的 Godot 游戏、可执行的 Blender CAD 脚本、数学建模求解器，以及把推理过程接到代码执行环境中。

Open Agentic Creation Open GameCraft-Bench Open BlenderLLM
Executable artifacts from agentic creation

相关论文整理

  1. GameCraft-Bench：评估 coding agents 是否能把游戏规格生成完整、可启动、可 replay 的 Godot 项目。
  2. BlenderLLM：训练 LLM 生成可在 Blender 中执行并渲染 3D 模型的 CAD 脚本。
  3. Mamo：面向数学建模的 benchmark 和 solver，把自然语言问题转成可求解模型。
  4. ORLM：训练大模型做自动化优化建模，连接问题描述、约束、目标函数和代码。
  5. CoRT：把 code execution 放进 reasoning，提升中间计算的可验证性。
项目 / 代码 / benchmarkExecutable artifact stack
ProjectAgentic Creation可执行产物生成、验证和交互式评测总览。 GitHubFreedomIntelligence/gamecraft-bench可玩游戏生成 benchmark、任务、replay 和 hidden rubric。 GitHubFreedomIntelligence/BlenderLLMCAD script 生成模型、BlendNet 数据和 CADBench。 GitHubFreedomIntelligence/Mamo数学建模 benchmark 与 solver 资源。 GitHubCardinal-Operations/ORLM自动化优化建模训练框架和 IndustryOR benchmark。
Education agents, tutors, and learning simulation

AI Education

这条线把 LLM agent 从“答题工具”推进到可教学、可陪练、可评测的教育智能体：包括自我调节学习助手、LLM user simulator、PlatoLM / SocraticChat 的苏格拉底式多轮对话训练，以及 EasyMED / SPBench 中的 AI 标准化病人。

Open AI Education Open PlatoLM Open EasyMED
Socratic dialogue and education agent pipeline

相关论文整理

  1. SRLAgent：用游戏化机制和 LLM assistance 增强 self-regulated learning。
  2. Large Language Model as a User Simulator：把 LLM 作为可控用户模拟器，用于多轮对话训练和评测。
  3. PlatoLM：通过苏格拉底式追问，把多轮教学对话能力蒸馏进 LLM。
  4. Human or LLM as Standardized Patients?：用 EasyMED 和 SPBench 评测 AI 标准化病人的医学教育效果。
  5. It Talks Like a Patient, But Feels Different：从 CHI / co-design 视角研究 AI 标准化病人的学习体验和设计需求。
项目 / 数据 / 代码资源Education agent stack
ProjectAI Education教育智能体、学习模拟、Socratic dialogue 和 AI standardized patients 总览。 GitHubFreedomIntelligence/PlatoLMPlatoLM 模型、Socratic-style dialogue training 和开源资源。 HF DatasetSocraticChat苏格拉底式对话数据资源。 GitHubFreedomIntelligence/EasyMEDAI 标准化病人和医学教育评测资源。
Economic world models, financial LLMs, and agent applications

经济世界模型和金融大模型及其 Agent 应用

这条研究主线把市场、机构、政策和多智能体行为建成可计算、可演化、可对齐的经济世界，同时覆盖金融大模型、金融能力评测、多模态金融模型、中英双语金融模型，以及面向真实市场的 Agent 应用。

Open Economic World Models Awesome EconWM
Economic World Models compare physical-world transitions with agent-generated economic-world transitions

相关论文整理

  1. From Economic Agents to Agentic Economies：提出经济世界模型的系统蓝图，用可计算经济体支持智能体训练、政策沙盒、规划和安全分析。
  2. TwinMarket: A Scalable Behavioral and Social Simulation for Financial Markets：用 LLM 投资者模拟金融市场中的信念、意图、信息流和交易行为。
  3. UCFE: A User-Centric Financial Expertise Benchmark for Large Language Models：从用户需求和动态金融任务出发评测大模型的金融专业能力。
  4. FinBen: A Holistic Financial Benchmark for Large Language Models：面向多类金融任务的综合大语言模型评测基准。
  5. Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications：开放面向金融应用的多模态大模型、数据和评测体系。
  6. No Language Is an Island：统一中英文金融大模型、指令数据与 benchmark，推动双语金融智能。
GitHub / Project 资源Paper, repositories, project pages
ProjectEconomic World Models总览经济世界模型架构、能力阶梯、代表团队和系统路线图。 PaperFrom Economic Agents to Agentic Economies经济世界模型论文 PDF。 GitHubFreedomIntelligence/Awesome-Econ-World-Models经济世界模型论文、系统和资源集合。 ProjectTwinMarket Financial AI Simulation经济世界模型中的金融市场原型沙盒。 GitHubFreedomIntelligence/TwinMarket金融行为与社会模拟代码资源。 ProjectMicroVerse Micro-World Simulation把世界模型扩展到科学微世界与生物过程。 GitHubFreedomIntelligence/MicroVerseMicroVerse 项目资源。
Optimization modeling LLMs

运筹优化大模型系列

运筹优化主线把自然语言问题转成数学优化模型、约束、目标函数和可执行代码。ORLM 提供开放模型与 IndustryOR benchmark，CALM/STORM 进一步研究优化建模中的原生推理能力。

Open Reasoning and Optimization
Reasoning and optimization project signal

相关论文整理

  1. ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling：OR-Instruct、ORLM 和 IndustryOR。
  2. CALM Before the STORM: Unlocking Native Reasoning for Optimization Modeling：优化建模中的原生推理。
  3. MathScale: Scaling Instruction Tuning for Mathematical Reasoning：数学推理 scaling 与 verifier 相关基础。
  4. CoRT: Code-integrated Reasoning within Thinking：将代码执行接入思维链，也服务于形式化建模和计算。
GitHub / Hugging Face 资源Code, models, datasets
GitHubCardinal-Operations/ORLM自动化优化建模训练框架、数据合成和 benchmark 入口。 HF DatasetCardinalOperations/IndustryOR100 个真实工业运筹问题 benchmark。 GitHubtangzhy/STORMCALM/STORM 优化建模推理资源。 GitHubChengpengLi1003/CoRT代码集成推理资源。
HuatuoGPT medical model family

AI for Healthcare：华佗GPT系列大模型

华佗GPT 是 AI for Healthcare 主线：从 Huatuo-26M 中文医学问答数据，到 HuatuoGPT / HuatuoGPT-II 医学适配，再到 HuatuoGPT-o1 的复杂医学推理和 HuatuoGPT-Vision 的医学视觉语言理解。

Open HuatuoGPT Ecosystem Open HuatuoGPT-II
HuatuoGPT medical model ecosystem
GitHub / Hugging Face 资源Code, models, datasets
GitHubFreedomIntelligence/Huatuo-26M中文医学 QA 数据集与构建资源。 GitHubFreedomIntelligence/HuatuoGPT华佗GPT 基础医学对话模型代码。 GitHubFreedomIntelligence/HuatuoGPT-IIHuatuoGPT-II 训练和评测材料。 GitHubFreedomIntelligence/HuatuoGPT-o1医学复杂推理模型和数据。 GitHubFreedomIntelligence/HuatuoGPT-Vision医学视觉语言模型训练代码。 HF DatasetFreedomIntelligence/PubMedVision医学图文视觉指令数据。
Healthcare AI evaluation

医疗 AI 评测系列

医疗 AI 不能只看聊天流畅度。这条线把评测拆成中文医学知识、多模态医学理解、可解释诊断、实时临床、医生工作流和医学教育几层，让模型在更接近临床的任务上暴露短板。

Open Medical Evaluation Benchmarks
CMB medical benchmark overview

相关论文整理

  1. CMB: A Comprehensive Medical Benchmark in Chinese：中文医学综合 benchmark。
  2. GMAI-MMBench：面向通用医疗 AI 的多模态评测。
  3. Chain-of-Diagnosis / DxBench：可解释诊断模型和真实医患对话诊断评测。
  4. LiveClin: A Live Clinical Benchmark without Leakage：持续更新、抗泄漏的真实临床 benchmark。
  5. Enabling Doctor-Centric Medical AI with LLMs through Workflow-Aligned Tasks and Benchmarks：DoctorFLAN / DotaBench，面向医生工作流。
GitHub / Hugging Face 资源Code, models, datasets
GitHubFreedomIntelligence/CMB中文医学 benchmark 代码。 GitHubuni-medical/GMAI-MMBenchGMAI-MMBench 多模态评测代码。 GitHubFreedomIntelligence/Chain-of-DiagnosisCoD、DxBench、DiagnosisGPT 统一入口。 GitHubAQ-MedAI/LiveClinLiveClin 代码和数据入口。 GitHubFreedomIntelligence/DotaGPTDoctorFLAN / DotaBench 训练与评测代码。
Medical education and AI standardized patients

医学教育与 AI 标准化病人

这条线面向医学教育中的 SP（standardized patients）训练，把 AI 病人做成可控、可复用、可评测的练习对象。它同时连接 ACL 医学教育评测与 CHI/人机交互里的共创设计问题：AI 病人不只要“像病人说话”，还要真正帮助学生练习病史采集、沟通和临床推理。

Open AI Standardized Patients Open EasyMED
Medical education and standardized patient evaluation

相关论文整理

  1. Human or LLM as Standardized Patients? A Comparative Study in Medical Education：提出 EasyMED 与 SPBench，对比 AI SP 与人类 SP 的教学效果。
  2. "It Talks Like a Patient, But Feels Different": Co-Designing AI Standardized Patients with Medical Learners：从 CHI 视角总结医学学习者对 AI SP 的体验和设计需求。
  3. Doctor-centric workflow-aligned tasks and benchmarks：把医学 AI 评测放进医生真实工作流。
GitHub / 论文资源Code and papers
GitHubFreedomIntelligence/EasyMEDAI 标准化病人框架和医学教育评测入口。 PaperHuman or LLM as Standardized Patients?EasyMED、SPBench 和医学教育对比实验。 CHICo-designing AI standardized patients医学学习者共创设计与交互需求。
Multilingual and localized LLMs

多语言大语言模型

多语言主线从 Phoenix / LLMZoo 的开放多语言聊天开始，到 AceGPT 的阿拉伯语本地化，再到 Apollo / ApolloMoE 的多语言医学模型、语料和评测。核心目标是让医学和通用 AI 不只服务少数高资源语言。

Open Multilingual Project Open Data Infrastructure
Apollo multilingual medical model map

相关论文整理

  1. Phoenix: Democratizing ChatGPT across Languages：早期开放多语言聊天模型。
  2. AceGPT, Localizing Large Language Models in Arabic：阿拉伯语大模型本地化与对齐。
  3. Apollo: Lightweight Multilingual Medical LLMs towards Democratizing Medical AI to 6B People：多语言医学模型、数据和评测。
  4. ApolloMoE：面向 50 种语言的医学 MoE 模型。
GitHub / Hugging Face 资源Code, models, datasets
GitHubFreedomIntelligence/LLMZooPhoenix / LLMZoo 多语言模型资源。 GitHubFreedomIntelligence/AceGPT阿拉伯语 LLM 本地化代码和资源。 GitHubFreedomIntelligence/ApolloApollo 多语言医学模型、数据、评测代码。 GitHubFreedomIntelligence/ApolloMoE面向 50 种语言的医学 MoE 模型代码。
Speech LLMs and speech-to-speech agents

Speech LLMs

Speech LLMs 方向把大模型从文本扩展到语音输入、语音输出、语气、情绪和副语言信息。相关项目包括 Soundwave、S2S-Arena、EchoMind、FusionAudio、UNSPOKEN，以及 speech-to-speech Turing Test。

Open Speech and Audio Project Open Soundwave
Speech LLM and interactive AI pipeline

相关论文整理

  1. Soundwave: Less is More for Speech-Text Alignment in LLMs：用更少数据完成 speech-text alignment。
  2. S2S-Arena：评测 speech-to-speech 模型的语义理解和副语言指令跟随。
  3. EchoMind：面向 empathetic Speech Language Models 的多层级 benchmark。
  4. Human or Machine? A Preliminary Turing Test for Speech-to-Speech Interaction：评测 S2S 系统是否真正像人类对话。
  5. FusionAudio-1.2M：细粒度音频 caption 与 multimodal contextual fusion。
  6. UNSPOKEN：用未说出口的声学线索评测 audio language models 的隐喻推理。
GitHub / Hugging Face 资源Code, models, datasets
GitHubFreedomIntelligence/SoundwaveSpeech-text alignment for LLMs。 HF ModelFreedomIntelligence/SoundwaveSoundwave 模型卡。 GitHubFreedomIntelligence/S2S-ArenaSpeech-to-speech paralinguistic benchmark。 ProjectEchoMindEmpathetic speech language model benchmark。 GitHubFreedomIntelligence/FusionAudioFine-grained audio captioning data and models。
Explainable and verifiable LLMs

LLM Interpretability

可解释性是横向能力：它关心模型为什么这样回答、哪些内部特征真正有用、以及如何把机制理解转成可控编辑。这个方向现在以 sparse autoencoder、model unlearning 和 circuit analysis 为主线，同时连接医学诊断链、verifier 和代码集成推理。

Open LLM Interpretability Open ICLR 2026 paper
LLM interpretability and sparse autoencoder analysis

相关论文整理

  1. Does Higher Interpretability Imply Better Utility? A Pairwise Analysis on Sparse Autoencoders：ICLR 2026，系统比较 SAE 的可解释性指标和实际 steering utility；获 NeurIPS 2025 ResponsibleFM Workshop Outstanding Paper Award。
  2. Model Unlearning via Sparse Autoencoder Subspace Guided Projections：EMNLP 2025，用 SAE subspace guided projections 做更可控的模型遗忘。
  3. Towards Understanding Fine-Tuning Mechanisms of LLMs via Circuit Analysis：ICML 2025，用 circuit analysis 理解微调如何改变模型内部计算。
  4. CoD, Towards an Interpretable Medical Agent using Chain of Diagnosis：用五步诊断链和置信度分布提升医学诊断可解释性。
  5. Outcome-supervised Verifiers for Planning in Mathematical Reasoning：用结果监督 verifier 辅助数学规划推理。
  6. CoRT: Code-integrated Reasoning within Thinking：把代码执行放入思维过程，让中间计算更透明。
论文 / GitHub / Hugging Face 资源Papers, code, models, datasets
ProjectLLM Interpretability and Sparse AutoencodersSAE utility、SAE-guided unlearning 和 circuit analysis 的详情页。 ICLR 2026Does Higher Interpretability Imply Better Utility?Pairwise analysis on sparse autoencoders。 EMNLP 2025Model Unlearning via SAE Subspace Guided Projections可解释子空间引导的模型遗忘。 ICML 2025Fine-Tuning Mechanisms via Circuit Analysis用 circuit analysis 理解 LLM 微调机制。 GitHubFreedomIntelligence/Chain-of-DiagnosisCoD 代码、诊断链数据、疾病库、DxBench 和 DiagnosisGPT 入口。 HF ModelFreedomIntelligence/DiagnosisGPT-6B基于 CoD 的可解释诊断模型。 HF DatasetFreedomIntelligence/DxBench真实医患对话构建的疾病诊断 benchmark。 GitHubFreedomIntelligence/OVMOutcome-supervised verifier 相关代码。 GitHubChengpengLi1003/CoRT代码集成推理项目。 GitHubtulerfeng/Video-R1视频推理强化学习代码。
Rubrics, judges, freshness, bias, ethics, and rewards

通用大模型评估

这个方向把 Rubric-based Evaluation & Reward Design 和 Trustworthy / Responsible AI Evaluation 合并成一条更大的“通用评估”主线：从 per-sample criteria、LLM-as-a-judge 偏差、时间泛化、文化偏差，到医疗伦理和 rubric-to-reward，把开放式能力评测变成可审计、可复现、可训练的反馈系统。

Open General Evaluation Open Awesome-Rubrics Open MLLM-Bench
General LLM evaluation project signal

相关论文整理

  1. MLLM-Bench：用 per-sample criteria 评估多模态大模型，让样本级标准成为 judge 的核心输入。
  2. Humans or LLMs as the Judge?：系统分析人类和 LLM judge 的判断偏差，为自动评测校准提供依据。
  3. FreshBench：评估大模型的 temporal generalization，判断模型是否“过时”。
  4. From Word to World：用 word association test 评估和缓解 LLM 的文化偏差。
  5. PrinciplismQA：把四原则医学伦理转成 MCQA、临床病例和 rubric keypoints。
  6. Awesome-Rubrics：整理 rubric-based evaluation、reward modeling 和 post-training 资源。
论文 / GitHub / 资源入口Evaluation and reward stack
ProjectGeneral LLM Evaluation通用大模型评估、rubric judge、可靠性和 reward design 总览。 GitHubFreedomIntelligence/Awesome-RubricsRubric-based evaluation、alignment 和 agentic AI 文献地图。 GitHubFreedomIntelligence/MLLM-BenchPer-sample criteria 多模态评测代码与数据。 GitHubFreedomIntelligence/FreshBench时间泛化和模型新鲜度评测资源。 GitHubFreedomIntelligence/PrinciplismQA医学伦理知识、病例和 rubric scoring 资源。
Clinical agents, patient dynamics, HIS environments, and hospital twins

Clinical & Hospital World Models

这个方向把医疗 AI 从静态问答推进到临床环境中的 agent：它关心 ICU 患者动态、医院信息系统、医生工作流、多角色医院仿真、工具调用和安全治理。牙科 benchmark 和 DentalGPT 已单独放入牙科大模型方向，这里只保留临床与医院世界模型。

Open Clinical & Hospital Models Open SepsisAgent Open TwinHospital
Clinical agents and hospital world models

相关论文整理

  1. SepsisAgent：通过 Clinical World Model 进行 propose-simulate-refine，并用 agentic RL 学习 ICU 治疗策略。
  2. Agentic-Hospital：把 HIS/EMR、角色仿真、工具接口、治理和 rubric 评测组织成医院级 agent 环境。
  3. TwinHospital：结合真实 HIS data flow 与多角色仿真，复现挂号、问诊、治疗和管理流程。
  4. Doctor-Centric Medical AI：把任务和 benchmark 对齐到医生真实工作流。
  5. OpenClaw-Medical-Skills：开放医疗 AI skills library，为临床 agent 提供可调用技能入口。
临床 agent / 医院环境 / 技能库Hospital world-model stack
ProjectClinical & Hospital World Models临床与医院数字环境、患者动态世界模型总览。 GitHubFreedomIntelligence/SepsisAgentICU sepsis treatment recommendation with Clinical World Model。 GitHubFreedomIntelligence/Agentic-HospitalHospital-scale actionable environment for autonomous agents。 GitHubFreedomIntelligence/TwinHospitalHIS data-flow-driven hospital process simulation。 GitHubFreedomIntelligence/OpenClaw-Medical-Skills面向 medical agents 的开放技能库。
Dental LLMs, multimodal diagnosis, clinical reasoning, and benchmarks

牙科大模型

牙科是可以独立成方向的垂直医疗 AI：既有 DentalGPT 这样的多模态牙科大模型，也有 GlobalDentBench、OmniDentBench 等面向临床推理、安全风险和专家校准的 benchmark。它强调口腔影像、病例推理、专科 taxonomy、真实临床风险和专家评分。

Open Dental LLMs Open OmniDentBench Open DentalGPT
Dental foundation models and benchmarks

相关论文与 benchmark

  1. DentalGPT：用 120K+ 牙科图像、domain knowledge injection 和 GRPO 强化多模态复杂推理。
  2. GlobalDentBench：覆盖 88 个国家/地区、14 个牙科专科、8,978 道专家校准题的 multinational dental benchmark。
  3. OmniDentBench：面向复杂临床决策和生物医学研究的全球牙科基准评测平台。
  4. DentalBench：双语牙科 QA benchmark 和大规模 DentalCorpus，用于评估和增强牙科理解。
  5. OralGPT-Omni：牙科多模态大模型与 MMOral-Uni benchmark，覆盖多种口腔影像任务。
模型 / benchmark / 平台Dental AI stack
ProjectDental Foundation Models牙科大模型、牙科 benchmark 和 OmniDentBench 总览。 PlatformOmniDentBench全球牙科基准评测平台和 ODB leaderboard。 GitHubFreedomIntelligence/DentalGPT牙科多模态大模型、训练 pipeline 和评测设置。 GitHubFreedomIntelligence/GlobalDentBench专家校准的跨国牙科临床推理 benchmark。 HF DatasetGlobalDentBench-OAGlobalDentBench 开放评测子集。