postgresql数据库 timescaledb 时序库 把大数据量表转换为超表的问题

 

前言

这几天工作的时候发现在 timescaledb 时序库 中有部分大数据量的表不是超表,估计是当时建库的时候没有改 影响插入,查询效率 ,因此需要改成超表

因工作原因 部分内容做保密处理了

一 创建新表

首先因为在 timescaledb 时序库 中创建超表必须是要没有数据的表

因此第一步是 创建一张跟原表一模一样的表(表名后面加个_cs) 你可以直接copy建表语句,也可以直接用工具复制表结构

二 把新表改为超表

把新建的表改为超表,7天一分区

--我是7天一分区
SELECT create_hypertable('表名_cs', 'alarm_time', chunk_time_interval => INTERVAL '7 day');
-- 加个索引
CREATE INDEX "表名_cs_create_time_idx" ON "hrmw"."表名_cs" USING btree (
 "create_time" "code"."列名" DESC NULLS FIRST
);

 

三 插入数据

1.数据量不大的情况可以直接插入

1INSERT into 表名_cs SELECT * from 表名;

2.如果数据量比较大 可以采取 一天一天 插入 或者一个月 或者几个月一起插入

INSERT into 表名_cs SELECT * from 表名 where alarm_time >= '2020-9-1';INSERT into 表名_cs SELECT * from 表名 where alarm_time >= '2020-10-1' and alarm_time < '2020-11-1' ;

3.运用函数(储存过程)

对于表数据量太大,一天一天的插入的话 可以运用储存过程(postgresql 数据库叫函数)

下面是我写的函数。大家可以借鉴

CREATE
 OR REPLACE PROCEDURE "hrmw"."sp_into_表名_pt" ( ) AS $BODY$ BEGIN
 -- 一般按照表名来建函数
 DECLARE --我声明的变量有点多 按实际的来
  target_text TEXT;
 sqltext TEXT;
 sqltext1 TEXT;
 sqltext2 TEXT;
 rd record;
 nloop INT;
 isexist TEXT;
 datestr TEXT;
 begindate TEXT;
 n INT;
 BEGIN
   --查询最早一天的时间
   sqltext := 'select to_char(min(alarm_time),''yyyy-mm-dd'') datestr from tb_hrmw_moni_target';   
  EXECUTE sqltext INTO begindate;
  n := date_part( 'day', now( ) - begindate :: DATE );
--enddate:=(to_char(now(),'yyyy-mm-dd'))::text;
  FOR nloop IN 0..n
  LOOP
  datestr := ( begindate :: DATE + nloop ) :: TEXT;
  sqltext2 := '
  insert into 表名_cs
  select
  列名1,
  code,
  列名2,
  alarm_time,
  列名3,
  列名4
  from 表名
  where alarm_time >= ''' || datestr || ' 00:00:00''
  and alarm_time <= ''' || datestr || ' 23:59:59''
  ';
  EXECUTE sqltext2;
  COMMIT;
  
 END loop;
RETURN;

END;

END $BODY$ LANGUAGE plpgsql

 

END loop;RETURN;

END;

END $BODY$ LANGUAGE plpgsql

四 查看效果

模式 _timescaledb_internal下面的就是分区

postgresql数据库 timescaledb 时序库 把大数据量表转换为超表的问题

文章来源:脚本之家

来源地址:https://www.jb51.net/article/205450.htm

免责申明:
1. 本站所有下载资源均不包含技术支持和安装服务!需要讨论请进群!
2. 分享目的仅供大家学习和交流,请不要用于商业用途!
3. 如果你也有好源码或者教程,可以到审核区发布,分享有KR奖励和额外收入!
4. 如有链接无法下载、失效或广告,请联系管理员处理!
5. 本站无法保证资源或破解时效性,如某些授权码过期等问题,恕不在修复范围内。
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!故不接受任何形式的退款,如确认资源确有问题的,会补给相应KR以供再次购买。
7. 53Kr源码暂未发现后门代码,但无法保证100%安全,推荐检测方法:上传到 https://www.virustotal.com/在线查看是否有恶意代码以及其他有后门嫌疑的代码。
8. 在本站下载的源码我还是不建议正式使用,有特别喜欢的可以去程序官方购买。
53kr资源站仅提供学习的平台,所有资料均来自于网络,版权归原创者所有!本站不提供任何保证,并不承担任何法律责任,如果对您的版权或者利益造成损害,请提供相应的资质证明,我们将于3个工作日内予以删除。
53kr资源分享 » postgresql数据库 timescaledb 时序库 把大数据量表转换为超表的问题

发表回复