python利用thrift服务读取hbase数据的方法
因工作需要用python通过hbase的thrift服务读取Hbase表数据，发现公司的测试环境还不支持，于是自己动手准备环境，在此我将在安装步骤尽可能描述清楚，旨在给第一次动手安装的朋友，此过程亲测成功！
安装过程如下：
1、首先确保hbase安装测试成功，再者确认下hbase的thrift服务是否启动，注意目前的Hbase(本文基于版本0.98.17）有两套thrift接口thrift和thrift2，本文使用thrift，启动命令：hbasethrift-p9090start，确保该端口没有被占用，使用lsof-i:9090查看)，本公司测试环境该端口被占用，如果被占用换一个没有被占用的端口即可；
2、安装thrift,去官网下载thrift：http://thrift.apache.org/download，本人使用thrift-0.10.0.tar.gz，下载好后编译安装，解压后进入安装目录/home/hadoop/thrift-0.10.0，分别执行./configuremake，make，sudomakeinstall，注意这边可能因各环境不同可能遇到问题，具体安装所需环境请参考官网：http://thrift.apache.org/docs/install/centos，安装之后可以用thrift-version命令测试是否安装成功，安装成功后会显示安装的版本；
3、确保1和2没有问题，接下来需要生成python脚本需要导入的hbase相关模块，首先去官网下载hbase源码，注意虽然本公司用的hbase版本是0.98.17但是只要版本相差不大都可以使用，本人使用的是hbase-0.98.24-src.tar.gz，下载解压后找到thrift目录：hbase-0.98.24/hbase-thrift/src/main/resources/org/apache/hadoop/hbase，该目录下有两个thrift服务，进入thrift后执行thrift--genpyHbase.thrift，不出现问题会在该thrift目录下生成目录gen-py，里面具体是hbase模块，将该目录名称改为hbase，并拷贝进python模块包：cp-rhbase/usr/lib/python2.7/site-packages/，至此python需要使用的hbase模块已经准备好；
4、写python脚本测试
#!/usr/bin/python
importsys
sys.path.append('/usr/lib/python2.7/site-packages/hbase')#引入正确的hbase模块路径，测试过可删除
fromthriftimportThrift
fromthrift.transportimportTSocket
fromthrift.transportimportTTransport
fromthrift.protocolimportTBinaryProtocol
fromhbaseimportHbase
fromhbase.ttypesimport*
transport=TSocket.TSocket('101.71.51.221',9099)
transport=TTransport.TBufferedTransport(transport)
protocol=TBinaryProtocol.TBinaryProtocol(transport)
client=Hbase.Client(protocol)
transport.open()
tableName='hb_vender'
rowKey='17_bcc5f02a876b010cbcd3fb2f82ab5b8e_43_111_57_437b9e2a-257c-4115-9570-bcd61741b3dc'
result=client.getRow(tableName,rowKey,None)
printresult
forrinresult:
print'therowis',r.row
print'thevaluesis',r.columns.get('a:venderName').value
注意这边可能出现：ImportError:Nomodulenamedsix，因为需要安装six，如果已经安装pip，使用pipinstallsix，如果没有安装用root执行安装：easy_installsix，安装成功后执行脚本测试成功！
以上这篇python利用thrift服务读取hbase数据的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。