python操作 hbase 数据的方法_Python

python操作 hbase 数据的方法

2020-09-15 13:10Python教程网 Python

下面小编就为大家带来一篇python操作 hbase 数据的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

配置 thrift

python使用的包 thrift

个人使用的python 编译器是pycharm community edition. 在工程中设置中，找到project interpreter，在相应的工程下，找到package，然后选择 “+” 添加，搜索 hbase-thrift (Python client for HBase Thrift interface),然后安装包。

安装服务器端thrift。

参考官网，同时也可以在本机上安装以终端使用。

thrift Getting Started

也可以参考安装方法 python 调用HBase 范例

首先，安装thrift

下载thrift，这里，我用的是thrift-0.7.0-dev.tar.gz 这个版本

tar xzf thrift-0.7.0-dev.tar.gz
cd thrift-0.7.0-dev
sudo ./configure –with-cpp=no –with-ruby=no
sudo make
sudo make install

然后，到HBase的源码包里，找到

src/main/resources/org/apache/hadoop/hbase/thrift/

执行

thrift –gen py Hbase.thrift
mv gen-py/hbase/ /usr/lib/python2.4/site-packages/ (根据python版本可能有不同)

获取数据示例 1

									# coding:utf-8

									from thrift import Thrift

									from thrift.transport import TSocket

									from thrift.transport import TTransport

									from thrift.protocol import TBinaryProtocol

									from hbase import Hbase

									# from hbase.ttypes import ColumnDescriptor, Mutation, BatchMutation

									from hbase.ttypes import *

									import csv

									def client_conn():

									 # Make socket

									 transport = TSocket.TSocket('hostname,like:localhost', port)

									 # Buffering is critical. Raw sockets are very slow

									 transport = TTransport.TBufferedTransport(transport)

									 # Wrap in a protocol

									 protocol = TBinaryProtocol.TBinaryProtocol(transport)

									 # Create a client to use the protocol encoder

									 client = Hbase.Client(protocol)

									 # Connect!

									 transport.open()

									 return client

									if __name__ == "__main__":

									 client = client_conn()

									 # r = client.getRowWithColumns('table name', 'row name', ['column name'])

									 # print(r[0].columns.get('column name')), type((r[0].columns.get('column name')))

									 result = client.getRow("table name","row name")

									 data_simple =[]

									 # print result[0].columns.items()

									 for k, v in result[0].columns.items(): #.keys()

									  #data.append((k,v))

									  # print type(k),type(v),v.value,,v.timestamp

									  data_simple.append((v.timestamp, v.value))

									 writer.writerows(data)

									 csvfile.close()

									 csvfile_simple = open("data_xy_simple.csv", "wb")

									 writer_simple = csv.writer(csvfile_simple)

									 writer_simple.writerow(["timestamp", "value"])

									 writer_simple.writerows(data_simple)

									 csvfile_simple.close()

									 print "finished"