Greenplum数据库使用总结(干货满满)--工作中常见知识汇总

10 工作中常见知识汇总

10.1在使用外表时注意的问题

10.1.1 注意\线的转义问题

10.1.1.1 问题示例

在以上的结果中可以看出GP把\给转义了

10.1.1.2 解答方法

drop external table if exists main.t_ent_baseinfo_external_20181214;

create external table main.t_ent_baseinfo_external_20181214(

*******

)

LOCATION ('gphdfs://nameservice1/tmp/chinadaas-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string' ESCAPE as 'OFF' FILL MISSING FIELDS)

LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;

使用ESCAPE as 'OFF' 即可关闭转义,默认的是打开的

详细信息请查看:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html

10.1.2 \1转特殊字符的问题

10.1.2.1 问题示例

以下是HDFS上展示的效果

13529225049\18088249

以下是GP中显示的效果

select tel from main.t_ent_baseinfo_xiaoxu_20181129 where s_ext_sequence='1949100100000041387873';

原因是GP加载外表时没有进行转义特殊字符,导致GP中把\1转换成\U001即为16进制的SOH 特殊字符

10.1.2.2 解答方法

drop external table if exists main.t_ent_baseinfo_external_20181214;

create external table main.t_ent_baseinfo_external_20181214(

*******

)

LOCATION ('gphdfs://nameservice1/tmp/chinadaas-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string' ESCAPE as 'OFF' FILL MISSING FIELDS)

LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;

使用ESCAPE as 'OFF' 即可关闭转义,默认的是打开的

详细信息请查看:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html

10.2 COPY命令常见错误汇总

10.2.1数据中有双引字符

10.2.1.1 问题示例

$ psql -d chinadaas -h 192.168.209.11 -p 5432 -U gpadmin -c "COPY main.t_ent_casebaseinfo_internal_20181214 FROM '/home/xiaoxu/hdfs-to-greenplum/error-data/t_ent_casebaseinfo_internal_error_20181214.csv' WITH csv DELIMITER E'\001'";

ERROR: unterminated CSV quoted field (seg1 192.168.209.12:40001 pid=336648)

在以上可以看出数据中有双引号导致了不能正确的入库

10.2.1.2 解答方法

解决方式使用sed命令替换掉即可:# sed -i ‘s/”//g’ filename 或手动去掉即可

10.3 查看字段中有特殊字符SQL

10.3.1 先把表字段获取出来

select col.column_name from information_schema.columns col where col.table_schema='schemaName' and col.table_name ='tableName' order by col.ordinal_position

schemaName : schema的名字

tableName: 表的名字

10.3.2 查询表中的错误数据

select filedname from schemaname.tablename where filedname~'[\u0000-\u001f]';

filedname:字段的名字

schemaName : schema的名字

tableName: 表的名字

[\u0000-\u001f] : 是匹配的隐藏特殊字符,详情请查看:

https://blog.csdn.net/xfg0218/article/details/80901752

10.3.3 注意分布键的问题

10.3.3.1 现象说明

在下图可以看出在使用分布键是直接写成by就会把字段进行了起别名,现象如下

10.3.3.2 现象解答说明

此现象说明:https://github.com/greenplum-db/gpdb/issues/6539

本文分享自微信公众号 - 小徐的技术之路(xiaoxuBigdata)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏刷题笔记

【微机原理与汇编语言】实验三 码制转换实验

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

9530
来自专栏小黎子数据分析

总结Oracle8i 的UNDO表空间损坏(ORA-01092及ORA-00600【4193】)情况下的数据库不完全恢复的经历

服务器断电重启导致备份生产环境的恢复目录库无法进行启动,提示Ora-01092例程终止。强行断开连接

8240
来自专栏用户5892232的专栏

OCP-052考试题库汇总(61)-CUUG内部解答版

In one of your databases,The database default tablespace is EXAMPLE.

8620
来自专栏小麦苗的DB宝专栏

​SYSTEM和SYSAUX表空间存储的内容有哪些区别?若SYSAUX表空间占用过大则应该如何处理?

今天小麦苗给大家分享的是SYSTEM和SYSAUX表空间存储的内容有哪些区别?若SYSAUX表空间占用过大则应该如何处理?。

9010
来自专栏Jerry的SAP技术分享

how to pass message from ERP to CRM technically

版权声明:署名,允许他人基于本文进行创作,且必须基于与原先许可协议相同的许可协议分发本文 (Creative Commons)

10240
来自专栏小麦苗的DB宝专栏

【DB笔试面试556】在Oracle中,虚拟索引的作用有哪些?

在数据库优化中,索引的重要性是不言而喻的。但是,在性能调整过程中,一个索引是否能被查询用到,在索引创建之前是无法确定的,而创建索引是一个代价比较高的操作,尤其是...

7920
来自专栏模型驱动

模型驱动MDA-GME建模(1)

GME是做学术研究的一个开源建模工具。如果要学会GME,我们需要大量的篇幅介绍才能完成这个学习过程。如果大家有兴趣,我可以在以后的文章中单独介绍。如果你有专研精...

11400
来自专栏老男孩成长之路

面试官上来就问:Java 进程中有哪些组件会占用内存?

不管是持久化的消息还是非持久化的消息都可以被写入到磁盘。持久化的消息在到达队列时就被写入到磁盘,并且如果可以,持久化的消息也会在内存中保存一份备份,这样可以提高...

5710
来自专栏腾讯云技术沙龙

腾讯云资深产品经理 | MGOBE:快速实现小游戏的多人联机对战玩法

8月17日,“小程序·云开发”系列沙龙(小游戏专场)圆满落幕。本期沙龙云+社区携手微信 & 云开发官方团队为大家揭秘爆款微信小游戏背后的技术,全面讲解小程序·云...

55880

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励