java代码手动添加hosts中没有的hostname和ip, 添加DNS缓存_使用 java 中添加临时的hosts映射

主要是通过工具修改

https://github.com/alibaba/java-dns-cache-manipulator/tree/master/library

简单说就是下载一个工具, 然后用工具中的方法就可以动态添加hostname和ip映射

jar包下载地址

https://mvnrepository.com/artifact/com.alibaba/dns-cache-manipulator

使用方法添加即可:

DnsCacheManipulator.setDnsCache("www.hello.com", "192.168.1.1");

这是最简单的使用方法, 更多使用方法见下文.

 

Java Dns Cache Manipulator(DCM) Library

? 用编码的方式设置/查看JVM的DNS（实际上设置的是DNS Cache），支持JDK 6+，支持IPv6。

• ? 功能
• ? 需求场景
• ? User Guide
  • 直接设置
  • 通过dns-cache.properties文件批量配置
  • 清空JVM DNS Cache
  • 删除一条DNS Cache
  • 查看JVM DNS Cache
  • 设置/查看JVM缺省的DNS的缓存时间
  • 使用注意
  • 更多详细功能
• ? Java API Docs
• ? 依赖
• ? 经过测试的JDK
• ? Developer Guide
  • 如何设置JVM的DNS Cache
  • 注意设置JVM的DNS Cache的线程安全问题
  • 需要测试不同版本JDK
• ? 相关资料

? 功能

• 设置/重置DNS（不会再去Lookup DNS）
  • 可以设置单条
  • 或是通过Properties文件批量设置
• 清空DNS Cache（即所有的域名重新Lookup DNS）
• 删除一条DNS Cache（即重新Lookup DNS）
• 查看DNS Cache内容
• 设置/查看JVM缺省的DNS的缓存时间

? 需求场景

1. 一些库中写死了连接域名，需要通过设置host文件绑定才能做测试。结果是：
   • 自动持续集成的机器上一般同学是没有权限去设置host文件的，导致项目不能持续集成。
     实际上是因为这点，催生这个库的需求。 ??
   • 单元测试需要每个开发都在开发机上做host绑定，增加了依赖的配置操作且繁琐重复。
2. 一些功能需要域名作为输入参数，如使用HTTP请求的网关 或是 有域名检查限制的Web应用。
   这种情况下，让需要让一个域名连接到测试机器的IP上，或是 使用一个还不存在的域名但又不想或不能去配置DNS。
3. 在性能测试时，
   • 不去做网络的DNS Lookup（DNS解析消耗），这样使得压测更加关注服务器响应，压测更充分反应出实现代码的性能。
   • 可以动态设置DNS缓存，无需修改host文件和http链接等不灵活的方式。
   • 一个JVM进程可以对应一套域名绑定，相互之间不影响，可以实现多场景，多域名绑定的需求压测。
4. 打开Java中的SecurityManager时（如在Web容器Tomcat中的Web应用），Java的DNS缺省是不会失效的。 如果域名绑定的IP变了，可以通过这个库重置DNS。
   • 通过Java Dns Cache Manipulator Tool设置运行中JVM DNS Cache。
     无需 应用包含了Java Dns Cache Manipulator Library依赖（即Jar）。
   • 或通过执行入口调用Java Dns Cache Manipulator Library的方法，比如远程调用或是jvm-ssh-groovy-shell。
     需要 应用已经包含了Java Dns Cache Manipulator Library依赖（即Jar）。

? User Guide

通过类DnsCacheManipulator设置DNS。

直接设置

DnsCacheManipulator.setDnsCache("www.hello.com", "192.168.1.1");
DnsCacheManipulator.setDnsCache("www.world.com", "1234:5678:0:0:0:0:0:200e"); // 支持IPv6地址

// 上面设置全局生效，之后Java中的所有的域名解析逻辑都会是上面设定的IP。
// 下面用一个简单获取域名对应的IP，来演示一下：

String ip = InetAddress.getByName("www.hello.com").getHostAddress();
// ip = "192.168.1.1"
String ipv6 = InetAddress.getByName("www.world.com").getHostAddress();
// ipv6 = "1234:5678:0:0:0:0:0:200e"


// 可以设置多个IP
DnsCacheManipulator.setDnsCache("www.hello-world.com", "192.168.2.1", "192.168.2.2");

String ipHw = InetAddress.getByName("www.hello-world.com").getHostAddress();
// ipHw = 192.168.2.1 ，读到第一个IP
InetAddress[] allIps = InetAddress.getAllByName("www.hello-world.com");
// 上面读到设置的多个IP

// 设置失效时间，单元毫秒
DnsCacheManipulator.setDnsCache(3600 * 1000, "www.hello-hell.com", "192.168.1.1", "192.168.1.2");

通过dns-cache.properties文件批量配置

在代码测试中，会期望把域名绑定写在配置文件。

使用方式如下：

在ClassPath上，提供文件dns-cache.properties：

# 配置格式：
# <host> = <ip>
www.hello-world.com=192.168.1.1
# 支持设置多个IP，用逗号分隔
www.foo.com=192.168.1.2,192.168.1.3
# 支持IPv6
www.bar.com=1234:5678:0:0:0:0:0:200e

注：
dns-cache.properties是缺省文件名，可以通过JVM的-D选项dcm.config.filename修改使用的配置文件名，如
-Ddcm.config.filename=my-dns-cache.properties。

然后通过下面的一行代码完成批量设置：

DnsCacheManipulator.loadDnsCacheConfig();

在单元测试中，往往会写在测试类的setUp方法中，如：

@BeforeClass
public static void beforeClass() throws Exception {
    DnsCacheManipulator.loadDnsCacheConfig();
}

清空JVM DNS Cache

DnsCacheManipulator.clearDnsCache();

删除一条DNS Cache

即重新Lookup DNS。

DnsCacheManipulator.removeDnsCache("aliyun.com");

查看JVM DNS Cache

DnsCache dnsCache = DnsCacheManipulator.getWholeDnsCache()
System.out.println(dnsCache);

设置/查看JVM缺省的DNS的缓存时间

// 查看缓存时间，单位秒。-1表示永远缓存，0表示不缓存
int cachePolicy = DnsCacheManipulator.getDnsCachePolicy();
// 设置缓存时间
DnsCacheManipulator.setDnsCachePolicy(2);

// 查看未命中条目的缓存时间
DnsCacheManipulator.getDnsNegativeCachePolicy()
// 设置未命中条目的缓存时间
DnsCacheManipulator.setDnsNegativeCachePolicy(0);

使用注意

• 域名不区分大小写，域名会统一转成小写，再进入DNS Cache。
  其中一个引发的现象是，DNS查询结果的域名会和输入的域名大小写不同，如果输入的域名有大写字母。
• 对于已经完成解析保存了IP的逻辑，设置JVM DNS缓存，不会生效！可以重新创建 连接或Client解决。
  如对于HttpClient:

HttpClient client = new HttpClient();
GetMethod m1 = new GetMethod("http://www.aliyun.com");
client.executeMethod(m1);
String content = m1.getResponseBodyAsString();

// 设置DNS，绑定到自己的机器
DnsCacheManipulator.setDnsCache("www.aliyun.com", "192.168.1.1");

// 重新执行m1，仍然是老结果
client.executeMethod(m1);
String content = m1.getResponseBodyAsString();

// 重新创建GetMethod，才能得到自己机器上的结果
GetMethod m2 = new GetMethod("http://www.aliyun.com");
client.executeMethod(m2);
content = m2.getResponseBodyAsString();

更多详细功能

参见类DnsCacheManipulator的文档说明。

? Java API Docs

Java API文档地址： http://alibaba.github.io/java-dns-cache-manipulator/apidocs

? 依赖

Maven示例：

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>dns-cache-manipulator</artifactId>
    <version>1.5.1</version>
</dependency>

可以在search.maven.org查看最新的版本。

? 经过测试的JDK

PS：
感谢 travis-ci 和 appveyor 免费提供了持续集成环境。

? Developer Guide

如何设置JVM的DNS Cache

JVM的DNS Cache维护在类InetAddress的addressCache私有字段中，通过反射来设置， 具体参见InetAddressCacheUtil。

注意设置JVM的DNS Cache的线程安全问题

JVM的DNS Cache显然是全局共用的，所以设置需要同步以保证没有并发问题。

通过查看类InetAddress的实现可以确定：通过以addressCache字段为锁的synchronized块来保证线程安全。

其中关键代码（JDK 7）如下：

/*
 * Cache the given hostname and addresses.
 */
private static void cacheAddresses(String hostname,
                                   InetAddress[] addresses,
                                   boolean success) {
    hostname = hostname.toLowerCase();
    synchronized (addressCache) {
        cacheInitIfNeeded();
        if (success) {
            addressCache.put(hostname, addresses);
        } else {
            negativeCache.put(hostname, addresses);
        }
    }
}

InetAddressCacheUtil类中对DNS Cache的读写也一致地加了以addressCache为锁的synchronized块，以保证线程安全。

需要测试不同版本JDK

本库实现使用了JDK的非公开API，不同JDK实现会不一样，即需要有兼容逻辑，并对不同版本JDK进行测试，以保证功能。

目前测试包含JDK版本参见【经过测试的JDK】一节。

? 相关资料

• tanhaichao的javahost项目， 该项目的使用文档。
  本项目如何设置Java DNS Cache的解法来自该项目。刚开始在持续集成项目中碰到host绑定的问题时，也是使用该项目来解决的 ?
• 类InetAddress的源代码：
  • JDK 6的InetAddress
  • JDK 7的InetAddress
  • JDK 8的InetAddress
• JVM Networking Properties - java docs
• java dns解析缓存之源码解析，写得很完整，源码解析。给出值得注意的结论：
  • 打开Java中的SecurityManager，DNS缓存将不会失效。
  • 否则，可访问的DNS解析缺省缓存30秒，不可访问的DNS解析缺省缓存10秒。
• 关于jvm dns cache(域名缓存时间)，给出“对于多条A记录是采用什么策略返回IP”的结论：
  • 在缓存有效期内，取到的IP永远是缓存中全部A记录的第一条，并没有轮循之类的策略。
  • 缓存失效之后重新进行DNS解析，因为每次域名解析返回的A记录顺序会发生变化(dig www.google.com测试可见)，所以缓存中的数据顺序也变了，取到的IP也变化。
• 通过JAVA反射修改JDK 1.6当中DNS缓存内容，给出了设置DNS缓存在性能测试下使用的场景。
• java InetAddress 的dns cache问题， 说明HttpClient需要重新创建GetMethod/PostMethod对象以使设置DNS生效问题。
• Domain Name System - wikipedia
• Java DNS FAQ
  • Java DNS cache viewer - stackoverflow
  • Disable DNS caching
  • FileOutput Node - Java DNS caching pitfall - quick clarification and tips