加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

海量、多维数据让人抓狂?高效搜索方法看这里

发布时间:2019-09-16 23:02:50 所属栏目:编程 来源:读芯术
导读:人与世界万物的互动会产生大量的时空数据。那么,当我们需要随时调用过去的数据时,改怎么办?尤其是面对各种海量、多维度的数据库,如果没有高效的搜索方法,我们只能望洋兴叹、束手无策。 别担心,本文将用详细的代码,手把手来传授高效搜索法的绝技! 对

查询性能:

  1. postgres=# select * from ff(point (0,0) , 5, 10000000) as t(id int, info text, crt_time timestamp, pos point, c1 int, c2 int, c3 int, dist float8);  
  2.  id | info | crt_time | pos | c1 | c2 | c3 | dist  
  3. ---------+----------------------------------+----------------------------+----------------------------------------+------+------+-----+-------------------  
  4.  1850387 | 6e0011c6db76075edd2aa7f81ec94129 | 2017-07-22 17:59:38.243091 | (0.0168232340365648,0.420973123982549) | 100 | 4395 | 321 | 0.421309141034319  
  5.  1989439 | 6211907ac254a4a3ca54f90822a2095e | 2017-07-22 17:59:38.551637 | (0.0274275150150061,0.490507003851235) | 1850 | 5 | 74 | 0.49127323294376  
  6.  1444244 | 41bf6f8e4b89458c13fb408a7db05284 | 2017-07-22 17:59:37.339594 | (0.52773853763938,2.16670122463256) | 1 | 2470 | 820 | 2.23004532710301  
  7.  542633 | c422d6137f9111d5c2dc723b40c7023f | 2017-07-22 17:59:35.334278 | (0.0631888210773468,2.2334903664887) | 4968 | 3 | 245 | 2.23438404136508  
  8.  291950 | 1c2901689ab1eb7653d8ad972f7aa376 | 2017-07-22 17:59:34.776808 | (2.5384977646172,1.09820357523859) | 3 | 2131 | 360 | 2.76586731309247  
  9.  1361182 | 7c4c1c208c2b2b21f00772c43955d238 | 2017-07-22 17:59:37.155127 | (1.7334086727351,2.18367457855493) | 9742 | 0 | 232 | 2.78803520274409  
  10.  2267673 | 898fdd54dcc5b14c27cf1c8b9afe2471 | 2017-07-22 17:59:39.170035 | (0.394239127635956,2.86229319870472) | 2892 | 6 | 917 | 2.88931598221975  
  11.  459345 | 9e46548f29d914019ce53a589be8ebac | 2017-07-22 17:59:35.148699 | (0.715781506150961,3.1486327573657) | 1 | 1276 | 8 | 3.22896754478952  
  12.  570570 | fc57bfc6b7781d89b17c90417bd306f7 | 2017-07-22 17:59:35.39653 | (3.14926156774163,1.04107855819166) | 88 | 2560 | 561 | 3.31688000783581  
  13.  1004806 | afe9f88cbebf615a7ae5f41180c4b33f | 2017-07-22 17:59:36.362027 | (1.13972157239914,3.28763140831143) | 3 | 1639 | 208 | 3.47958123047986  
  14.  865508 | 34509c7f7640afaf288a5e1d38199701 | 2017-07-22 17:59:36.052573 | (3.12869547866285,2.34822122845799) | 2 | 65 | 875 | 3.91188935630676  
  15.  104558 | c4699c933d4e2d2a10d828c4ff0b3362 | 2017-07-22 17:59:34.362508 | (4.20534582808614,2.43749532848597) | 99 | 4858 | 543 | 4.86069100130757  
  16.  1069986 | 6b9f27bfde993fb0bae3336ac010af7a | 2017-07-22 17:59:36.507775 | (4.51995821669698,2.08761331625283) | 2 | 200 | 355 | 4.97877009299311  
  17. (13 rows)  
  18. Time: 0.592 ms 

太棒了!查询时间从200毫秒减少到1毫秒以内。

优化方法综述

优化方法回顾:

1. 为不同的数据类型构建不同的索引。

例如,对空间使用GiST或SP-GiST索引,对时间使用B树或BRIN索引,对多个对象属性使用GIN索引。索引的目的是缩小数据扫描的范围。

2. 方法五提到数据分区。

数据分区的目的是有意地组织数据,这意味着有意地组织数据以满足搜索需求。例如,如果时间是必需的查询条件或公共查询条件,那么可以按时间(分区)分割数据,以减少需要扫描的数据量。

3. 方法六描述了索引分区。

目的类似于方法五。方法五和方法六的区别在于分区在索引级别使用,因此当执行索引扫描时,数据命中率会直接提高。

4.方法七中的ctid合并扫描类似于PostgreSQL中的多索引bitmapAnd或bitmapOr扫描。

bitmapAnd/bitmapOr跳过不需要扫描的块,方法七中的ctid合并扫描跳过不需要扫描的行。

合并从多个索引扫描获得的ctid。跳过不需要扫描的行数。

如果当其他条件为“AND”时,过滤条件可以显著减少ctid(记录),则没有必要使用ctid合并扫描。相反,使用FILTER作为另一个条件。(这将略微增加CPU开销。)

5. 最好的功夫总是以最大的灵活性、自由和对每一个动作的无限想象为特征。

PostgreSQL实现多索引BitmapAnd或BitmapOr扫描,显著提高了多种条件(索引)下的数据命中率。

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读