[Feature] Add eval_backend_diff & eval_backend_perf to replace test_compiler / test_device

[JewelRoam]

PR Category

Feature

Description

Usage:

python3 -m graph_net_bench.torch.eval_backend_diff \
    --model-path-list $model_list \
    --eval-config=$(base64 -w 0 <<EOF
{
    "reference_config":  {
        "seed": int,
        "compiler": str,
        "device": str,
        "op_lib": str,
        "warmup": int,
        "trials": int,
        "log_prompt": str,
        "model_path_prefix": str,
        "backend_config": dict
    },
    "target_config": {
        "seed": int,
        "compiler": str,
        "device": str,
        "op_lib": str,
        "warmup": int,
        "trials": int,
        "log_prompt": str,
        "model_path_prefix": str,
        "backend_config": dict
    }
}
EOF
) \

TODO

目前为能跑通的初始版本，有很大优化空间：

• 添加output文件传递和rpc支持，取代原有test_device
• (done)改进函数及config中参数的语义
• (done)把编译器的注册改为根据config.compiler动态链接，算子库加载暂时不变
• (done)将命令行args传递改为JSON config：既然eval_backend_diff的大部分工作由eval_backend_perf来完成，那么eval_backend_diff需要尽可能少的感知eval_backend_perf的知识。eval_backend_perf所需的配置直接由调用层来制定，eval_backend_diff只负责传递一下数据。
• ……待补充

[paddle-bot]

Thanks for your contribution!

[lixinqi]

这个函数不要删掉。你改名成check_or_complete_args。
它对阅读代码很有用，告诉读者都有哪些参数。

[JewelRoam]

目前移动到了eval_backend_perf中

[lixinqi]

换成json形式。

[lixinqi]

这里的抽象很不干净，必须换成json config才行。

既然eval_backend_diff的大部分工作由eval_backend_perf来完成。那么eval_backend_diff需要尽可能少的感知eval_backend_perf的知识。eval_backend_perf所需的配置直接由调用层来制定，eval_backend_diff只负责传递一下数据。

[JewelRoam]

已修改