Resource Guide
AI问数问题集、Text-to-SQL与答案证据验收矩阵
摘要：这份矩阵用于AI问数试点、联调和上线验收。它把真实业务问题、指标版本、语义层、数据血缘、MCP或其他工具的只读范围、RBAC角色与行列权限、脱敏、预期答案、查询审计、澄清拒答和人工复核放在同一张表里，帮助团队判断系统是否在正确权限和有效口径下给出可复核的答案。
什么时候开始使用
建议在产品选型或概念验证前先建立第一版问题集，并在数据模型、权限和提示语调整后持续回归。不要等到上线前才临时问几道简单问题，也不要只用管理员账号和演示数据测试。
问题集要来自真实工作，而不是功能演示
业务负责人应提供高频问法、模糊问法和实际决策所需的对比维度；数据负责人补充指标定义、公式、来源和可人工复算的标准结果；系统与安全负责人补充越权、敏感信息、写操作和无依据推断等反向测试。模板中的示例仅用于说明字段，不是任何企业的真实数据或默认业务规则。
用现有字段记录指标治理、同义词和数据血缘
下载模板已经包含同义词、数据源、语义映射、测试数据版本、人工复核人和验收结论等字段。使用时可按下表补充指标版本、上下游血缘和审核状态，不需要把所有信息塞进一列备注。
| 需要治理的内容 | 建议使用的模板字段 | 记录重点 |
|---|---|---|
| 指标版本与生效时间 | 指标名称、指标定义或公式、更新时间、测试数据版本 | 写明当前口径何时生效，历史测试应使用哪个版本。 |
| 同义词与歧义 | 同义词或常见问法、需澄清条件、必须拒答条件 | 区分可直接映射、需要确认和禁止混用的业务词。 |
| 上游数据血缘 | 数据源或表、Text-to-SQL或语义映射、日志编号 | 记录来源系统、表或字段、必要转换，以及可复核的查询证据。 |
| 下游影响范围 | 真实问题、预期答案类型、标准结果或核对方法 | 标记同一指标影响的问数问题、固定看板和核对报表。 |
| 审核与整改 | 人工复核人、整改责任人、验收结论、备注 | 保留审核人、结论、限制条件和再次验证时间。 |
六类问题应同时覆盖
| 问题类型 | 测试目的 | 可核对结果 |
|---|---|---|
| 标准指标问题 | 验证时间、公式、维度和来源是否正确。 | 与已确认报表或人工复算结果一致。 |
| 模糊问题 | 验证系统是否先澄清缺失的指标、范围或基准。 | 不猜测用户意图，不直接生成伪精确结果。 |
| 越权问题 | 验证页面、语义层、查询与接口是否使用同一权限。 | 拒绝访问且不泄露目标数据是否存在。 |
| 高风险动作 | 区分只读分析与审批、付款、修改、删除等业务动作。 | 不调用写接口，给出正确办理入口并留痕。 |
| 证据不足问题 | 验证系统是否承认数据或模型不足。 | 披露缺口，不把推测包装成事实。 |
| 多轮问题 | 验证上下文继承、修改和清空是否一致。 | 继承范围可见，结果与同条件独立查询一致。 |
答案至少要带回哪些证据
建议展示统计周期、指标定义或公式、筛选条件、分析维度、数据更新时间和来源；条件允许时提供生成SQL、查询计划、语义映射或可追踪的日志编号。证据不是为了让每位用户阅读技术细节，而是让业务、数据和技术人员在出现争议时能沿同一路径复核。
Text-to-SQL和语义层要分开验收
Text-to-SQL能生成可执行查询，不等于答案已经符合业务口径。矩阵中建议分别记录自然语言解析、业务名词映射、指标公式与版本、字段与表关系、上游数据血缘、权限过滤、执行SQL或查询计划、结果解释和日志编号。这样当答案异常时，可以判断问题出在问法、语义层、数据字典、权限、数据版本还是模型解释。
对集团经营驾驶舱、BI门户和管理系统，尤其要把组织、区域、部门、项目、客户、租户等权限条件写入测试用例。只用管理员账号验证SQL可执行，无法证明普通角色看到的数据范围正确。
权限验收建议加入反向测试
除了确认有权角色可以得到答案，还要验证低权限角色、跨组织参数、失效账号、旧会话、导出与下钻是否会绕过限制。敏感字段应先确定脱敏、聚合或完全不返回的规则。只在界面隐藏按钮，不等于查询和接口已经受到保护。
MCP或其他工具接入怎样写进验收矩阵
MCP定义工具如何被发现和调用，但“工具标注为只读”不是数据库或业务系统的强制权限。问数项目仍要在服务端限制可用工具、账号、数据集、API方法、查询范围和返回字段，并把查询工具与审批、付款、修改、删除、通知等业务动作分开。
| 验收对象 | 建议写入的现有字段 | 反向测试与证据 |
|---|---|---|
| 工具与身份范围 | 提问角色、允许数据范围、数据源或表、Text-to-SQL或语义映射 | 比较不同角色可发现与可调用的工具，记录令牌或服务账号的实际范围。 |
| 只读约束 | 必须拒答条件、权限测试结果、日志编号 | 尝试新增、修改、删除和调用写接口，确认服务端拒绝且数据未变化。 |
| RBAC与行列权限 | 提问角色、允许数据范围、脱敏要求 | 用跨组织、跨租户、敏感列、同义改写和连续下钻验证规则始终生效。 |
| 输入输出控制 | 需澄清条件、必须拒答条件、应返回的核对证据 | 提交异常参数、超大范围、超时请求和敏感字段，核对校验、限流、脱敏与错误提示。 |
| 查询审计 | 测试数据版本、实际结果、日志编号、人工复核人 | 用同一交互编号关联问题、工具、权限判定、查询条件、结果范围和答案证据。 |
| 高风险动作 | 问题分类、必须拒答条件、验收结论 | 普通问数不得直接执行；另行授权时核对待执行内容、人工确认、操作日志与撤销路径。 |
建议执行顺序
- 由业务、数据、系统和安全责任人共同选定首期问题集。
- 为每道问题确认角色、数据范围、指标口径和数据版本。
- 写明标准结果、核对方法、应返回证据和响应时间目标。
- 补充需澄清、应拒答、脱敏与只读动作边界。
- 在同一数据版本下重复测试，并保留日志和截图。
- 模型、语义、权限或数据结构变化后执行回归测试。
官方资料说明了什么，仍需项目验证什么
SQLBot 权限配置公开说明了行权限与列权限的数据隔离方式；Quick BI 基本概念说明了维度、度量、数据模型和行级权限等产品能力；OpenLineage提供以数据集、作业与运行事件记录血缘元数据的开放框架。MCP Authorization与MCP Tools分别说明授权和工具安全要求。公开文档只能证明所述机制存在，不能证明某个具体项目已经正确配置；仍需在目标版本、部署环境和真实角色下核对语义、权限、脱敏、查询审计与答案证据。
常见问题
AI问数验收只核对答案数字可以吗？
不建议。还应核对角色权限、时间与指标口径、数据来源、查询或SQL证据、澄清拒答、重复测试和日志，避免结果碰巧正确但过程不可复核。
问题集应该由技术人员单独编写吗？
不应只由技术人员编写。业务人员提供真实问法与标准结果，数据人员确认口径和来源，安全与系统负责人确认权限和动作边界。
生成SQL可见是否代表答案可靠？
不代表。SQL可见有助于复核，但仍要检查表关系、过滤条件、指标语义、权限和数据版本。
Text-to-SQL通过测试后是否还要测语义层？
需要。Text-to-SQL只证明查询转换可执行，仍要核对业务名词、指标公式、表关系、权限过滤、结果解释和答案证据是否一致。
这份矩阵能直接证明系统合规吗？
不能。它用于项目测试和证据整理，不替代法律、行业监管、等级保护或专业安全评估。
MCP工具标注为只读就可以直接接入生产数据吗？
不可以只看工具名称或说明。还要在服务端核对账号与令牌范围、可发现工具、数据库或API写权限、行列权限、参数校验、脱敏、超时限流和审计日志，并用写入、越权和失效账号场景做反向测试。
下载与相关资料
下载AI问数问题集、Text-to-SQL与答案证据验收矩阵 CSV
建议同时使用BI驾驶舱指标梳理模板和数据大屏角色权限、多租户与审计验收矩阵。继续阅读AI+BI智能问数实施与验收方法、集团型企业经营驾驶舱权限设计及FineBI、DataEase与定制BI大屏选型指南。