flink配合druid连接池的使用_flink druid

博主之前在flink集成连接池的使用，一直存在一个误区，就是为了减少程序对资源的创建，所有加载资源或者获取连接都放在了flink的open方法中，虽然这样可以减少资源的使用，也可以满足大多数场景，但是如：mysql的connection长时间不用，该connection 会被mysql数据库本身给回收。

先简单介绍一下Druid：
DRUID是阿里巴巴开源平台上一个数据库连接池实现，它结合了C3P0、DBCP、PROXOOL等DB池的优点，同时加入了日志监控，可以很好的监控DB池连接和SQL的执行情况，可以说是针对监控而生的DB连接池(据说是目前最好的连接池,不知道速度有没有BoneCP快)。

配置参数
和其它连接池一样DRUID的DataSource类为：com.alibaba.druid.pool.DruidDataSource，基本配置参数如下：

本人的使用：

 @Override
    public void open(Configuration parameters) throws Exception {
        dataSource = new DruidDataSource();
        dataSource.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource.setUrl("****");
        dataSource.setUsername("***");
        dataSource.setPassword("****");
        dataSource.setInitialSize(10);   //初始化时建立物理连接的个数。初始化发生在显示调用init方法，或者第一次getConnection时
        dataSource.setMinIdle(10);  //最小连接池数量
        dataSource.setMaxActive(20);  //最大连接池数量
        dataSource.setMaxWait(1000 * 20); //获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁，并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
        dataSource.setTimeBetweenEvictionRunsMillis(1000 * 60);  //有两个含义：1) Destroy线程会检测连接的间隔时间2) testWhileIdle的判断依据，详细看testWhileIdle属性的说明
        dataSource.setMaxEvictableIdleTimeMillis(1000 * 60 * 60 * 10);  //<!-- 配置一个连接在池中最大生存的时间，单位是毫秒 -->
        dataSource.setMinEvictableIdleTimeMillis(1000 * 60 * 60 * 9);  //<!-- 配置一个连接在池中最小生存的时间，单位是毫秒 -->
        dataSource.setTestWhileIdle(true);  // <!-- 这里建议配置为TRUE，防止取到的连接不可用 -->
        dataSource.setTestOnBorrow(true);
        dataSource.setTestOnReturn(false);
        dataSource.setValidationQuery("select 1");
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

在flink的open方法创建连接池，在使用的时候通过getConnection获取连接，使用完之后调用.close方法，将连接归还给连接池。