Hadoop 源码中使用ServiceLoader

java.util.ServiceLoader使用

今天在看hadoop源代的时候发现，在FileSystem中用到了java.util.ServiceLoader这个类来从配置文件中加载子类或者接口的实现类。以前从来没有使用过这个类，进去大概看了一下具体的实现。主要是从META-INF/services这个目录下的配置文件加载给定接口或者基类的实现，ServiceLoader会根据给定的类的full name来在META-INF/services下面找对应的文件，在这个文件中定义了所有这个类的子类或者接口的实现类，返回一个实例。

下面以一个具体的例子来说明一下ServiceLoader的具体使用，类似Hadoop FileSystem中的实现。

首先定义一个接口，具体如下：

[java] view plain copy

public interface IService {  
    public String sayHello();  
      
    public String getScheme();  
}  
1
2
3
4
5

该接口有两个子类，分别为HDFSService和LocalService：

[java] view plain copy

public class HDFSService implements IService {  
  
    @Override  
    public String sayHello() {  
        return "Hello HDFS!!";  
    }  
  
    @Override  
    public String getScheme() {  
        return "hdfs";  
    }  
}  
1
2
3
4
5
6
7
8
9
10
11
12

[java] view plain copy

public class LocalService implements IService {  
  
    @Override  
    public String sayHello() {  
        return "Hello Local!!";  
    }  
  
    @Override  
    public String getScheme() {  
        return "local";  
    }  
  
}  
1
2
3
4
5
6
7
8
9
10
11
12
13

需要在META-INF/services下以IService这个类的全名来新建立一个文件，文件中的内容为两个实现类的全名，如下：

[java] view plain copy

org.hadoop.java.HDFSService  
org.hadoop.java.LocalService  
1
2

所有的实现和配置都已经完成，下面写一个测试类来看一下结果:

[java] view plain copy

public class ServiceLoaderTest {  
  
    /** 
     * @param args 
     */  
    public static void main(String[] args) {  
        //need to define related class full name in /META-INF/services/....  
        ServiceLoader<IService> serviceLoader = ServiceLoader  
                .load(IService.class);  
        for (IService service : serviceLoader) {  
            System.out.println(service.getScheme()+"="+service.sayHello());  
        }  
    }  
  
}  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

具体的输出来如下：

[plain] view plain copy

hdfs=Hello HDFS!!  
local=Hello Local!!  
1
2

可以看到ServiceLoader可以根据IService把定义的两个实现类找出来，返回一个ServiceLoader的实现，而ServiceLoader实现了Iterable接口，所以可以通过ServiceLoader来遍历所有在配置文件中定义的类的实例。Hadoop FileSystem就是通过这个机制来根据不同文件的scheme来返回不同的FileSystem。

FileSystem中的相关实例如下：

[java] view plain copy

private static void loadFileSystems() {  
  synchronized (FileSystem.class) {  
    if (!FILE_SYSTEMS_LOADED) {  
      ServiceLoader<FileSystem> serviceLoader = ServiceLoader.load(FileSystem.class);  
      for (FileSystem fs : serviceLoader) {  
        SERVICE_FILE_SYSTEMS.put(fs.getScheme(), fs.getClass());  
      }  
      FILE_SYSTEMS_LOADED = true;  
    }  
  }  
}  
1
2
3
4
5
6
7
8
9
10
11

FileSystem对应的配置如下：

[java] view plain copy

org.apache.hadoop.fs.LocalFileSystem  
org.apache.hadoop.fs.viewfs.ViewFileSystem  
org.apache.hadoop.fs.s3.S3FileSystem  
org.apache.hadoop.fs.s3native.NativeS3FileSystem  
org.apache.hadoop.fs.kfs.KosmosFileSystem  
org.apache.hadoop.fs.ftp.FTPFileSystem  
org.apache.hadoop.fs.HarFileSystem  
1
2
3
4
5
6
7

通过之前的测试类输出对应的scheme和class如下：

[plain] view plain copy

file=class org.apache.hadoop.fs.LocalFileSystem  
viewfs=class org.apache.hadoop.fs.viewfs.ViewFileSystem  
s3=class org.apache.hadoop.fs.s3.S3FileSystem  
s3n=class org.apache.hadoop.fs.s3native.NativeS3FileSystem  
kfs=class org.apache.hadoop.fs.kfs.KosmosFileSystem  
ftp=class org.apache.hadoop.fs.ftp.FTPFileSystem  
har=class org.apache.hadoop.fs.HarFileSystem  
hdfs=class org.apache.hadoop.hdfs.DistributedFileSystem  
hftp=class org.apache.hadoop.hdfs.HftpFileSystem  
hsftp=class org.apache.hadoop.hdfs.HsftpFileSystem  
webhdfs=class org.apache.hadoop.hdfs.web.WebHdfsFileSystem  
1
2
3
4
5
6
7
8
9
10
11

可以看到FileSystem会把所有的FileSystem的实现都以scheme和class来cache，之后就从这个cache中取相应的值。

因此，以后可以通过ServiceLoader来实现一些类似的功能。而不用依赖像Spring这样的第三方框架。