Skip to content

OP test accuracy requirements

Tao Luo edited this page Dec 16, 2019 · 1 revision

OP单测规范:单测精度中atol, rtol, eps, max_relative_error, 不允许自行放大阈值

OP test accuracy requirements(English)

规范概要:

  • 第1节,本规范说明
  • 第2节,本规范检查内容
  • 第3节,CI检查方法
  • 第4节,未通过检查的修改建议

补充说明:

  1. 规范在执行过程中,可能会发现现有规范未考虑到的方面,需要在实施过程中不断补充与完善,也请大家积极反馈意见。

1. 本规范说明

目前,OP单测中检查前向输出和反向梯度精度时,存在放大阈值通过单测的问题。为了更好得保证Op质量,提出了本条规范,并在CI中添加了相应的检查方法。

要求:在设置OP单测检查输出函数的参数默认值后,不允许各个OP单测中自行修改默认值,放大阈值通过单测测试。

2. 本规范检查以下参数的默认值,原则上不允许修改

  • 前向输出检查
    • 单测接口函数check_outputcheck_output_with_place中: 参数atol
  • 反向梯度检查
    • 单测接口函数check_gradcheck_grad_with_place中: 参数max_relative_error
    • 单测接口函数grad_checkdouble_grad_check: 参数epsatolrtol

3. CI检查方法

  • OP单测文件的增加/修改内容中,只要扫描到如上参数关键字修改了默认值,即会报错。

4. 未通过检查的修改建议

建议使用函数默认值,如有特殊需求,需要特定人员审核。

若遇到其他问题,请联系 @GaoWei8

Clone this wiki locally