Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决

本篇内容主要讲解“Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决”吧!

创新互联建站是一家集网站设计、做网站、网站页面设计、网站优化SEO优化为一体的专业网站设计公司,已为成都等多地近百家企业提供网站建设服务。追求良好的浏览体验,以探求精品塑造与理念升华,设计最适合用户的网站页面。 合作只是第一步,服务才是根本,我们始终坚持讲诚信,负责任的原则,为您进行细心、贴心、认真的服务,与众多客户在蓬勃发展的市场环境中,互促共生。

Fayson在使用impala-shell -i hosts -d default -f test.sql -o test.txt, 导出结果数据时,发现执行SQL 报错,提示错误信息如下Unknown Exception : 'ascii' codec can't encode characters in position 61-62: ordinal not in range(128),看到这个异常,想必熟悉python的朋友知道这是python中文乱码的问题,Fayson下面会详细描述该问题和解决办法

  • 测试环境:

1.RedHat7.4

2.CDH5.16.1

问题重现    

首先我们使用impala-shell 创建一张表并插入一条数据包含中文字符,然后进行查看

[hadoop2.macro.com:21000] > create table testimpala_shell (s1 string,s2 string);
[hadoop2.macro.com:21000] > insert into testimpala_shell values ("hello","你好");
[hadoop2.macro.com:21000] > select * from testimpala_shell;

Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决

然后执行下列命令,并查看日志,发现异常如下:

impala-shell -i hadoop2.macro.com -d default -f test.sql -o test1.log
或者
impala-shell -i hadoop2.macro.com -d default -f test.sql > test.log 2>&1
或者
impala-shell -i hadoop2.macro.com -d default -q “select * from testimpala_shell” -o test1.log

Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决

同样的语句在没有中文字符的情况下可以正常执行和导出结果数据

Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决

问题解决    

由于查询在impala-shell 中没有问题,在导出数据的时候才有问题,这是impala-shell的客户端是由python编写的,而Python无法自动将unicode对象写入没有设置默认编码的输出流,所以导致该异常。对于该问题,修改impala-shell默认编码为utf-8即可解决该问题

vim /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py
#添加如下代码:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决

然后重新执行,发现已经可以正常执行

Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决

到此,相信大家对“Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


分享标题:Fayson使用impala-shell命令导出数据存在中文异常问题怎么解决
文章源于:http://myzitong.com/article/jgccpg.html