大数据批量键值怎么快速查询

大数据批量键值怎么快速查询,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

成都网站建设哪家好,找创新互联公司!专注于网页设计、成都网站建设公司、微信开发、微信小程序开发、集团成都企业网站建设等服务项目。核心团队均拥有互联网行业多年经验,服务众多知名企业客户;涵盖的客户类型包括:成都生料搅拌车等众多领域,积累了大量丰富的经验,同时也获得了客户的一致称扬!

一般选择数据库来存放数据,并借助数据表的索引来加快检索速度。利用索引查找数据,即使数据总量达到有10亿,对于单条记录的查找效率大约在数十毫秒(复杂度为LogN)。但是,如果需要查询的键值很多,比如多达几千甚至几万的时候,如果每次都独立查找,那读取和比较也会累积到几万甚至几十万次,时间延迟由此也会涨到几十分钟甚至小时级别,这时候再简单地使用数据库索引对于用户体验必然是难以容忍的了。

比如下面这样的查询:

结构如下:

字段类型备注
idlong1000000000001开始自增
datastring随机字符串(长度为 180 字节)

对这样结构的6亿条数据,从中取1万个随机id对应的记录,用Oracle大约就需要120 秒了。

使用的SQL大概这样:select * from testdata where id in (…)

另外由于in中的个数最大1000个,还需要多次查询后的结果再合并,处理起来也比较麻烦。

同样的数据,用集算器来处理,代码简单且查找高效,看下面这个例子:


AB
1=file("testdata.ctx").create()//打开组表文件testdata.ctx
2=A1.index@3(id_idx)//加载三级索引
3=keys//待查找的随机键值序列
4=A1.icursor(;A3.contain(id),id_idx)//利用组表索引id_idx查找

这里使用了集算器组表功能,基于高性能索引和批量键值查找,可以有效地应对这种场景。该场景下,集算器查询仅用了20秒,相比Oracle的120秒提升了6倍。

关于大数据批量键值怎么快速查询问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。


网站名称:大数据批量键值怎么快速查询
链接URL:http://myzitong.com/article/jsgchd.html