【Elasticsearch源码】写入源码分析（一）_elasticsearch 源码

1 前言

Elasticsearch（ES）是一个基于Lucene的分布式存储和搜索分析系统，本文希望从源码的角度分析ES在保证数据的可靠性、实时性和一致性前提下，其写入的具体流程。

写入也是整个ES系统里面，最主要的流程之一，便于更好的理解ES的内部原理和逻辑，关于ES数据存储结构请参考：【Elasticsearch】原理-Elasticsearch数据存储结构与写入流程。

2 写入基本流程

图片来自官网，源代码取自6.7.1版本：

ES的写入采用一主多副的模式，写操作一般会经过三种节点：协调节点、主分片所在节点、副本分片所在节点。
客户端发送请求到Node1（相当于协调节点），协调节点收到请求之后，确认写入的文档属于分片P0，于是将请求转发给P0所在的节点Node3，Node3写完成之后将请求转发到P0所属的副本R0所在的节点Node1和Node2。

什么时候给客户端返回成功呢？

特别注意： 取决于wait_for_active_shards参数：需要确认的分片数，默认为1，即主分片写入成功就返回客户端结果。

    /**
     * The number of active shard copies to check for before proceeding with a write operation.
     */
    public static final Setting<ActiveShardCount> SETTING_WAIT_FOR_ACTIVE_SHARDS =
        new Setting<>("index.write.wait_for_active_shards",
                      "1",
                      ActiveShardCount::parseString,
                      Setting.Property.Dynamic,
                      Setting.Property.IndexScope);
1
2
3
4
5
6
7
8
9

以上是写入的大体流程，整个详细的流程，通过源码进行分析。

3 写入源码分析

ES的写入官方提供了两种写入方式：index，逐条写入；Bulk，批量写入。对于这两种方式，ES都会转化成Bulk写入。

3.1 bulk请求分发

ES的写入请求一般会进过两层处理，首先的Rest层（进行请求参数解析），另一层是Transport层（进行实际的请求处理）。在每一层处理前都有一次请求分发：

客户端发送过来的HTTP请求由HttpServerTransport初步处理后进入RestController模块进行实际的分发过程：

    public void dispatchRequest(RestRequest request, RestChannel channel, ThreadContext threadContext) {
   
        if (request.rawPath().equals("/favicon.ico")) {
   
            handleFavicon(request, channel);
            return;
        }
        try {
   
        	//找出所有可能的handlers，然后分发这些请求
            tryAllHandlers(request, channel, threadContext);
        } catch (Exception e) {
   
          .......
        }
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

上面dispatchRequest方法，会通过tryAllHandlers方法找出所有可能的handlers，并分发请求，代码如下：

    void tryAllHandlers(final RestRequest request, final RestChannel channel, final ThreadContext threadContext) throws Exception {
   
        for (String key : headersToCopy) {
   
            String httpHeader = request.heade
1
2
3
4