跳到主要内容 Apache IoTDB 实战:FILL 空值填充与 LIMIT/SLIMIT 分页查询 | 极客日志
SQL java 算法
Apache IoTDB 实战:FILL 空值填充与 LIMIT/SLIMIT 分页查询 Apache IoTDB 提供 FILL 子句处理数据缺失问题,支持前值、线性插值及常量填充模式,兼容不同数据类型。LIMIT 和 SLIMIT 子句配合 OFFSET/SOFFSET 实现结果集的行与列分页控制,有效应对大数据量展示需求。结合缓存机制与性能调优参数,可显著提升高并发场景下的查询效率,适用于工业物联网海量时序数据的清洗与分析场景。
内存管理 发布于 2026/2/9 更新于 2026/4/18 2 浏览引言
在工业物联网(IIoT)场景中,时序数据库 Apache IoTDB 凭借其高效的写入性能和灵活的查询能力,成为处理海量设备数据的首选方案。然而在实际业务中,数据缺失和分页查询的性能瓶颈常困扰着开发者。
一、结果集补空值—FILL 子句的解构
1.1 功能介绍
当执行一些数据查询时,结果集的某行某列可能没有数据,则此位置结果为空,但这种空值不利于进行数据可视化展示和分析,需要对空值进行填充。
在 IoTDB 中,用户可以使用 FILL 子句指定数据缺失情况下的填充模式,允许用户按照特定的方法对任何查询的结果集填充空值,如取前一个不为空的值、线性插值等。
1.2 语法定义
FILL 子句的语法定义如下:
FILL '(' PREVIOUS | LINEAR | constant ')'
注意:
在 Fill 语句中只能指定一种填充方法,该方法作用于结果集的全部列。
空值填充不兼容 0.13 版本及以前的语法(即不支持 FILL((<data_type>[<fill_method>(, <before_range>, <after_range>)?])+))
1.3 填充方式
IoTDB 目前支持以下三种空值填充方式:
PREVIOUS 填充:使用该列前一个非空值进行填充。
LINEAR 填充:使用该列前一个非空值和下一个非空值的线性插值进行填充。
常量填充:使用指定常量填充。
各数据类型支持的填充方法如下表所示:
对于数据类型不支持指定填充方法的列,既不会填充它,也不会报错,只是让那一列保持原样。
通过举例说明
如果我们不使用任何填充方式:
select temperature,status from root.sgcc.wf03.wt01 where time >= 2017 -11 -01 T16:37 :00.000 and time <= 2017 -11 -01 T16:40 :00.000 ;
结果如下:
微信扫一扫,关注极客日志 微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
相关免费在线工具 加密/解密文本 使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
Keycode 信息 查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具,Keycode 信息在线工具,online
Escape 与 Native 编解码 JavaScript 字符串转义/反转义;Java 风格 \uXXXX(Native2Ascii)编码与解码。 在线工具,Escape 与 Native 编解码在线工具,online
JavaScript / HTML 格式化 使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具,JavaScript / HTML 格式化在线工具,online
JavaScript 压缩与混淆 Terser 压缩、变量名混淆,或 javascript-obfuscator 高强度混淆(体积会增大)。 在线工具,JavaScript 压缩与混淆在线工具,online
SQL 美化和格式化 在线格式化和美化您的 SQL 查询(它支持各种 SQL 方言)。 在线工具,SQL 美化和格式化在线工具,online
对于查询结果集中的空值,使用该列前一个非空值进行填充。
注意:如果结果集的某一列第一个值就为空,则不会填充该值,直到遇到该列第一个非空值为止。
例如,使用 PREVIOUS 填充,SQL 语句如下:
select temperature,status from root.sgcc.wf03.wt01 where time >= 2017 -11 -01 T16:37 :00.000 and time <= 2017 -11 -01 T16:40 :00.000 fill(previous);
在前值填充时,能够支持指定一个时间间隔,如果当前 null 值的时间戳与前一个非 null 值的时间戳的间隔,超过指定的时间间隔,则不进行填充。
在线性填充和常量填充的情况下,如果指定了第二个参数,会抛出异常
时间超时参数仅支持整数
select s1 from root.db.d1
select avg (s1) from root.db.d1 groupby([2023 -11 -08 T16:40 :00.008 + 08 :00 ,2023 -11 -08 T16:50 :00.008 + 08 :00 ),1 m)
select avg (s1) from root.db.d1 groupby([2023 -11 -08 T16:40 :00.008 + 08 :00 ,2023 -11 -08 T16:50 :00.008 + 08 :00 ),1 m) FILL(PREVIOUS);
根据时间分组并用前值填充,并指定超过 2 分钟的就不填充
select avg (s1) from root.db.d1 groupby([2023 -11 -08 T16:40 :00.008 + 08 :00 ,2023 -11 -08 T16:50 :00.008 + 08 :00 ),1 m) FILL(PREVIOUS,2 m);
对于查询结果集中的空值,使用该列前一个非空值和下一个非空值的线性插值进行填充。
如果某个值之前的所有值都为空,或者某个值之后的所有值都为空,则不会填充该值。
如果某列的数据类型为 boolean/text,我们既不会填充它,也不会报错,只是让那一列保持原样。
例如,使用 LINEAR 填充,SQL 语句如下:
select temperature,status from root.sgcc.wf03.wt01 where time >= 2017 -11 -01 T16:37 :00.000 and time <= 2017 -11 -01 T16:40 :00.000 fill(linear);
如果某列数据类型与常量类型不兼容,既不填充该列,也不报错,将该列保持原样。对于常量兼容的数据类型,如下表所示:
当常量值大于 INT32 所能表示的最大值时,对于 INT32 类型的列,既不填充该列,也不报错,将该列保持原样。
例如,使用 FLOAT 类型的常量填充,SQL 语句如下:
select temperature,status from root.sgcc.wf03.wt01 where time >= 2017 -11 -01 T16:37 :00.000 and time <= 2017 -11 -01 T16:40 :00.000 fill(2.0 );
再比如,使用 BOOLEAN 类型的常量填充,SQL 语句如下:
select temperature,status from root.sgcc.wf03.wt01 where time >= 2017 -11 -01 T16:37 :00.000 and time <= 2017 -11 -01 T16:40 :00.000 fill(true );
二、查询结果分页:LIMIT/SLIMIT 当查询结果集数据量很大,放在一个页面不利于显示,可以使用 LIMIT/SLIMIT 子句和 OFFSET/SOFFSET 子句进行分页控制。
LIMIT 和 SLIMIT 子句用于控制查询结果的行数和列数。
OFFSET 和 SOFFSET 子句用于控制结果显示的起始位置。
2.1 按行分页 用户可以通过 LIMIT 和 OFFSET 子句控制查询结果的行数,LIMIT rowLimit 指定查询结果的行数,OFFSET rowOffset 指定查询结果显示的起始行位置。
当 rowOffset 超过结果集的大小时,返回空结果集。
当 rowLimit 超过结果集的大小时,返回所有查询结果。
当 rowLimit 和 rowOffset 不是正整数,或超过 INT64 允许的最大值时,系统将提示错误。
我们将通过以下示例如何使用 LIMIT 和 OFFSET 子句。
示例 1:基本的 LIMIT 子句
SQL 语句:
select status, temperature from root.ln.wf01.wt01 limit 10
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;选择的时间序列是'状态'和'温度'。SQL 语句要求返回查询结果的前 10 行。
示例 2:带 OFFSET 的 LIMIT 子句
SQL 语句:
select status, temperature from root.ln.wf01.wt01 limit 5 offset 3
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;选择的时间序列是'状态'和'温度'。SQL 语句要求返回查询结果的第 3 至 7 行(第一行编号为 0 行)。
示例 3:LIMIT 子句与 WHERE 子句结合
SQL 语句:
select status,temperature from root.ln.wf01.wt01 where time > 2024 -07 -07 T00:05 :00.000 and time < 2024 -07 -12 T00:12 :00.000 limit 5 offset 3
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;选择的时间序列是'状态'和'温度'。SQL 语句要求返回时间'2024-07-07T00:05:00.000'和'2024-07-12T00:12:00.000'之间的状态和温度传感器值的第 3 至 7 行(第一行编号为第 0 行)。
示例 4:LIMIT 子句与 GROUP BY 子句组合
SQL 语句:
select count (status), max_value(temperature) from root.ln.wf01.wt01 groupby([2017 -11 -01 T00:00 :00 ,2017 -11 -07 T23:00 :00 ),1 d) limit 4 offset 3
含义:SQL 语句子句要求返回查询结果的第 3 至 6 行(第一行编号为 0 行)。
+
| Time | count (root.ln.wf01.wt01.status)| max_value(root.ln.wf01.wt01.temperature)|
+
| 2017 -11 -04 T00:00 :00.000 + 08 :00 | 1440 | 26.0 |
| 2017 -11 -05 T00:00 :00.000 + 08 :00 | 1440 | 26.0 |
| 2017 -11 -06 T00:00 :00.000 + 08 :00 | 1440 | 25.99 |
| 2017 -11 -07 T00:00 :00.000 + 08 :00 | 1380 | 26.0 |
+
Total line number = 4 It costs 0.016 s
2.2 按列分页 用户可以通过 SLIMIT 和 SOFFSET 子句控制查询结果的列数,SLIMIT seriesLimit 指定查询结果的列数,SOFFSET seriesOffset 指定查询结果显示的起始列位置。
仅用于控制值列,对时间列和设备列无效。
当 seriesOffset 超过结果集的大小时,返回空结果集。
当 seriesLimit 超过结果集的大小时,返回所有查询结果。
当 seriesLimit 和 seriesOffset 不是正整数,或超过 INT64 允许的最大值时,系统将提示错误。
我们将通过以下示例演示如何使用 SLIMIT 和 SOFFSET 子句。
示例 1:基本的 SLIMIT 子句
SQL 语句:
select * from root.ln.wf01.wt01 where time > 2017 -11 -01 T00:05 :00.000 and time < 2017 -11 -01 T00:12 :00.000 slimit 1
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;所选时间序列是该设备下的第二列,即温度。SQL 语句要求在"2017-11-01T00:05:00.000"和"2017-11-01T00:12:00.000"的时间点之间选择温度传感器值。
示例 2:带 SOFFSET 的 SLIMIT 子句
SQL 语句:
select * from root.ln.wf01.wt01 where time > 2017 -11 -01 T00:05 :00.000 and time < 2017 -11 -01 T00:12 :00.000 slimit 1 soffset 1
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;所选时间序列是该设备下的第一列,即电源状态。SQL 语句要求在"2017-11-01T00:05:00.000"和"2017-11-01T00:12:00.000"的时间点之间选择状态传感器值。
示例 3:SLIMIT 子句与 GROUP BY 子句结合
SQL 语句:
select max_value(* ) from root.ln.wf01.wt01 groupby([2017 -11 -01 T00:00 :00 ,2017 -11 -07 T23:00 :00 ),1 d) slimit 1 soffset 1
示例 4:SLIMIT 子句与 LIMIT 子句结合
SQL 语句:
select * from root.ln.wf01.wt01 limit 10 offset 100 slimit 2 soffset 0
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;所选时间序列是此设备下的第 0 列至第 1 列(第一列编号为第 0 列)。SQL 语句子句要求返回查询结果的第 100 至 109 行(第一行编号为 0 行)。
三、特性融合
3.1 FILL 与分页的联合使用 在复杂查询场景中,可同时使用 FILL 与分页子句:
SELECT time , temperature,status FROM root.ln.wf01.wt01 WHERE time > 2024 -11 -27 T00:00 :00 FILL(LINEAR) LIMIT 100 OFFSET 500
3.2 缓存机制 IoTDB 内置智能缓存系统,通过 LRU 算法管理查询结果缓存。在分页查询中,通过 cache_result_enabled 参数可开启结果集缓存,显著提升重复查询性能。
3.3 问题诊断
QueryStats 模块:实时监控查询性能指标
慢查询日志:自动记录执行时间超过阈值的查询
EXPLAIN 命令:可视化展示查询执行计划
四、性能调优 在分页查询场景下,IoTDB 提供了专门的缓存优化方案:
SET cache_result_enabled = true
SELECT * FROM root.device.* LIMIT 100 OFFSET 0
重复查询加速:相同查询的第二次及后续执行可直接从缓存获取结果
并发查询优化:多个客户端请求相同数据时,只需计算一次
资源节约:减少重复计算和磁盘 I/O 操作
参数名 默认值 说明 cache_result_enabledfalse 是否启用查询结果缓存 cache_size_in_mb100 缓存大小 (MB) cache_eviction_algorithmLRU 缓存淘汰算法
通过合理配置这些参数,可以显著提升 IoTDB 在高并发查询场景下的性能表现。
五、总结与展望 本文全面揭示了 Apache IoTDB 的 FILL 空值填充与 LIMIT/SLIMIT 分页查询的核心原理、工业应用与性能优化策略。这两项特性如同数据处理的两把利剑,既解决了数据缺失的难题,又攻克了大数据量下的查询瓶颈。随着工业互联网的深入发展,IoTDB 将继续在时序数据处理领域发挥重要作用。通过不断迭代优化的 FILL 与分页机制,配合智能缓存、索引优化等辅助特性,IoTDB 将为工业物联网提供更强大、更智能的数据处理能力,助力企业实现真正的数字化转型。