perf: 作业包含大量主机，执行作业请求响应时间过长 about bk-job

[wangyu096]

耗时比较长的这个，主要就是批量写入 task_instance_host 表, DAO 层是使用 Jooq。代码如下：

    public void saveTaskInstanceHosts(long taskInstanceId,
                                      Collection<HostDTO> hosts) {
        BatchBindStep batchInsert = ctx.batch(
            ctx.insertInto(TASK_INSTANCE_HOST, TASK_INSTANCE_HOST.TASK_INSTANCE_ID,
                TASK_INSTANCE_HOST.HOST_ID, TASK_INSTANCE_HOST.IP, TASK_INSTANCE_HOST.IPV6)
                .values((Long) null, null, null, null)
        );

        for (HostDTO host : hosts) {
            batchInsert = batchInsert.bind(
                taskInstanceId,
                host.getHostId(),
                host.getIp(),
                host.getIpv6()
            );
        }
        batchInsert.execute();
    }

[wangyu096]

原因

如果 jdbc 为设置rewriteBatchedStatements= false （默认）, 那么即使是调用 Statement.executeBatch(), 也是逐个执行 SQL。关于rewriteBatchedStatements这个参数的介绍：

MySQL的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL。另外这个选项对INSERT/UPDATE/DELETE都有效。

参考

• MySQL rewriteBatchedStatements configuration property

• mysql 官方文档 rewriteBatchedStatements