python批量导入数据进Elasticsearch的实例_Python

python批量导入数据进Elasticsearch的实例

2021-02-27 00:19小威xiaowei2 Python

今天小编就为大家分享一篇python批量导入数据进Elasticsearch的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

ES在之前的博客已有介绍，提供很多接口，本文介绍如何使用python批量导入。ES官网上有较多说明文档，仔细研究并结合搜索引擎应该不难使用。

先给代码

									#coding=utf-8

									from datetime import datetime

									from elasticsearch import Elasticsearch

									from elasticsearch import helpers

									es = Elasticsearch()

									actions = []

									f=open('index.txt')

									i=1

									for line in f:

									 line = line.strip().split(' ')

									 action={

									 "_index":"image",

									 "_type":"imagetable",

									 "_id":i,

									 "_source":{

									  u"图片名":line[0].decode('utf8'),

									  u"来源":line[1].decode('utf8'),

									  u"权威性":line[2].decode('utf8'),

									  u"大小":line[3].decode('utf8'),

									  u"质量":line[4].decode('utf8'),

									  u"类别":line[5].decode('utf8'),

									  u"型号":line[6].decode('utf8'),

									  u"国别":line[7].decode('utf8'),

									  u"采集人":line[8].decode('utf8'),

									  u"所属部门":line[9].decode('utf8'),

									  u"关键词":line[10].decode('utf8'),

									  u"访问权限":line[11].decode('utf8') 

									  }

									 }

									 i+=1

									 actions.append(action)

									 if(len(actions)==500):

									 helpers.bulk(es, actions)

									 del actions[0:len(actions)]

									if (len(actions) > 0):

									 helpers.bulk(es, actions)