AWSDAS认证考点整理(Athena&Glue篇)-创新互联

Athena
  1. Athena查询隔离=Work Group, 可以control per-query data usage limit.
  2. Athena查询速度优化:1. 压缩  2. 列式存储  3. S3和Athena同一个Region
  3. Athena查询成本优化:1.Partition by,2. 列式存储,3.合并小文件
  4. Athena partition快速生成or恢复=MSCK REPAIR TABLE,Athena使用hive style partition。
  5. Athena查询结果S3加密:S3-SSE, CMK-KMS and CSE-KMS
  6. Athena DML timeout after 30minutes= Raise ticket in service quotas
  7. Athena Payload超出上限错误=结果上传S3+Presigned URL
  8. lzo压缩格式高速解压比gzip读取速度快,提高Athena查询性能。

发展壮大离不开广大客户长期以来的信赖与支持,我们将始终秉承“诚信为本、服务至上”的服务理念,坚持“二合一”的优良服务模式,真诚服务每家企业,认真做好每个细节,不断完善自我,成就企业,实现共赢。行业涉及墙体彩绘等,在重庆网站建设公司全网营销推广、WAP手机网站、VI设计、软件开发等项目上具有丰富的设计经验。Glue
  1. AWS Glue Crawler Classification = Unknown: All the classifiers certainty=0.0
  2. Glue读取大量小文件用dynamic frame file grouping功能。
  3. Glue读取大量小文件报outofmemory错误= 'groupFiles': 'inPartition' feature.
  4. Glue Crawler和Athena都可以跨Region使用。
  5. Glue Crawler/Copy Command triggered by S3:CreateObject event = most current data
  6. Glue跳过特定的S3存储层:excludeStorageClasses
  7. Glue scale = glue job metrics + maximum capcity job parameter
  8. Glue job rerun导致重复数据清理用Postactions in DynamicFrameWriter class
  9. Glue支持PySpark Scala dialect,不支持Hive script
  10. Glue Job bookmark功能避免重复处理数据,只处理增量数据。
  11. Glue catalog update manually created table = choose table when define crawler.
  12. Glue跑完job自动update catalog=enable updatecatalog
  13. Glue Findmatch ML=match data without PK
  14. Glue streaming ETL 连 KDS, MSK, 不可以连KDF。

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


网站标题:AWSDAS认证考点整理(Athena&Glue篇)-创新互联
分享路径:http://myzitong.com/article/ejdoj.html