bulk_request_mutate

bulk_request_mutate #

描述 #

bulk_request_mutate 过滤器用来干预 Elasticsearch 的 Bulk 请求。

配置示例 #

一个简单的示例如下:

flow:
  - name: bulk_request_mutate
    filter:
      - bulk_request_mutate:
          fix_null_id: true
          generate_enhanced_id: true
#          fix_null_type: true
#          default_type: m-type
#          default_index: m-index
#          index_rename:
#            "*": index-new
#            index1: index-new
#            index2: index-new
#            index3: index3-new
#            index4: index3-new
#            medcl-dr3: index3-new
#          type_rename:
#            "*": type-new
#            type1: type-new
#            type2: type-new
#            doc: type-new
#            doc1: type-new

...

参数说明 #

名称类型说明
fix_null_typebool是否修复不带 _type 的请求,和参数 default_type 配合使用
fix_null_idbool是否修复不带 _id 的请求,生成一个随机 id,如 c616rhkgq9s7q1h89ig0
remove_typebool是否移除 _type 参数,Elasticsearch 8.0 之后不支持 _type 参数
generate_enhanced_idbool是否生成一个增强的 id 类型,如 c616rhkgq9s7q1h89ig0-1635937734071093-10
default_indexstring默认的索引名称,如果元数据里面没有指定,则使用该默认值
default_typestring默认的文档 type,如果没有元数据里面没有指定,则使用该默认值
index_renamemap将索引名称进行重命名,支持 * 来覆盖所有的索引名称
type_renamemap将 type 进行重命名,支持 * 来覆盖所有的 type 名称
pipelinestring指定 bulk 请求的 pipeline 参数
remove_pipelinebool是否移除 bulk 请求中的 pipeline 参数
safety_parsebool是否采用安全的 bulk 元数据解析方法,默认 true
doc_buffer_sizeint当采用不安全的 bulk 元数据解析方法时,使用的 buffer 大小,默认 256 * 1024