VRMaaS：可验证的奖励模型即服务框架用于可信LLM对齐

内容摘要

Liao Guofu、Liao Hao等研究者在arXiv预印本中提出VRMaaS框架，将LLM对齐流程中作为服务部署的奖励模型输出转化为携带证明的工件。链下接受规则绑定请求身份、已提交权重、验证器与配置标识等字段，审计者可在不重跑私有奖励模型或不暴露输入的情况下核验奖励分数。作者称仅包装通用推理证明无法阻止六类服务字段替换攻击，而该框架在1B、3B和8B奖励模型、128-1024 token的GPU原型测试中与基线保持93.5-99%成对一致率，生成完整工件需49.8-206.1秒，审计验证需1.94-5.11秒，部分链上公开证明约消耗217K gas。论文为预印本，仅依据摘要，未经同行评审。