qData 数据中台开源版 1.1.2 版本更新公告:新增 Apache Doris 数据源全面支持,稽查规则与转换组件持续完善

qData 数据中台开源版 1.1.2 版本更新公告:新增 Apache Doris 数据源全面支持,稽查规则与转换组件持续完善

在数据中台的实际使用过程中,我们持续关注社区用户的真实反馈与使用场景。
本次 qData 数据中台开源版 1.1.2 更新,围绕 数据源扩展、数据质量能力增强、数据集成易用性提升 三个方向进行了集中优化,并修复了社区中反馈的若干问题。

下面为大家带来本次版本的详细更新说明 👇


一、更新背景

1️⃣ Apache Doris 使用频率持续上升

在社区和用户实践中,我们发现 Apache Doris 作为高性能分析型数据库,被广泛应用于实时数仓与分析场景。
因此,qData 开源版在本次版本中正式将 Apache Doris 纳入核心数据源体系,并实现多模块全面支持。

2️⃣ 数据稽查规则持续扩展

随着数据质量治理场景的不断丰富,原有稽查规则已无法覆盖全部业务需求。
本次更新对稽查规则进行了扩展,增强了对时间逻辑、字段完整性等典型场景的支持。

3️⃣ 数据集成转换能力进一步增强

在数据集成任务中,用户对“灵活处理数据”的需求越来越高。
因此,1.1.2 版本新增多种常用转换组件,让数据处理过程更加顺手、直观。

4️⃣ 社区反馈问题集中修复

感谢社区用户的持续反馈 🙌
本次版本同步修复了多个已在社区提交的 Bug,进一步提升了系统稳定性与使用体验。


二、核心更新内容一览

1️⃣ Apache Doris 数据源全面支持

本次更新中,qData 开源版已在多个核心模块中支持 Apache Doris 数据源:

  • 数据连接
    • 新增 Apache Doris 数据源类型,支持统一配置与管理
  • 数据查询
    • 支持基于 Apache Doris 的数据查询能力
  • 数据集成任务
    • 表输入组件支持 Apache Doris
    • 表输出组件支持 Apache Doris

这意味着,用户可以在 qData 开源版中完成 从 Doris 到 Doris、或 Doris 与其他数据源之间的数据集成与治理,覆盖更多实时分析与数仓场景。


2️⃣ 新增数据稽查规则

为满足更复杂的数据质量校验需求,本次新增以下两类稽查规则:

✅ 时间字段顺序逻辑校验
  • 检查多个时间字段之间是否存在逻辑上的先后关系
  • 适用于:
    • 开始时间 / 结束时间
    • 创建时间 / 更新时间
    • 业务流程时间链路校验等场景
✅ 字段组完整性校验
  • 校验字段组合在全表范围内是否唯一
  • 常用于:
    • 联合主键校验
    • 业务唯一性约束检测

3️⃣ 新增数据转换组件

在数据集成任务中,1.1.2 版本新增多种高频使用的转换组件:

  • 去除重复记录组件
    • 支持基于指定字段进行去重处理
  • 常量转换组件
    • 为字段赋固定值,简化规则类处理逻辑
  • 字段选择 / 修改组件
    • 灵活控制字段的保留、重命名、调整
  • 值映射组件
    • 支持将字段值按规则进行映射转换
    • 适用于编码转换、状态值标准化等场景

这些组件的加入,使得数据集成任务在不依赖外部 ETL 工具的情况下,也能完成更复杂的数据加工逻辑。


4️⃣ 社区 Bug 修复

本次版本同步修复了以下社区已反馈问题:

感谢社区用户的积极反馈,帮助 qData 变得更稳定、更好用 ❤️


三、版本总结

qData 数据中台开源版 1.1.2 版本是一次围绕“实用性与易用性”的稳步迭代:

  • Apache Doris 正式成为一等公民数据源
  • 数据质量稽查能力进一步完善
  • 数据集成转换更加灵活高效
  • 社区反馈问题得到及时响应和修复

未来,qData 也将继续以社区需求为导向,持续打磨数据中台能力,欢迎大家继续参与共建与交流。

Read more

Clawdbot部署Qwen3:32B实操:解决‘gateway token missing’的三种Token注入方式对比

Clawdbot部署Qwen3:32B实操:解决‘gateway token missing’的三种Token注入方式对比 Clawdbot 是一个统一的 AI 代理网关与管理平台,旨在为开发者提供一个直观的界面来构建、部署和监控自主 AI 代理。通过集成的聊天界面、多模型支持和强大的扩展系统,Clawdbot 让 AI 代理的管理变得简单高效。 当你在 ZEEKLOG 星图镜像广场一键部署 Clawdbot 并集成本地运行的 qwen3:32b 模型后,大概率会遇到这样一个提示: disconnected (1008): unauthorized: gateway token missing (open a tokenized dashboard URL or paste token in Control UI settings) 这不是报错,也不是服务没起来—

By Ne0inhk
Flutter 组件 powersync_attachments_helper 的适配 鸿蒙Harmony 实战 - 驾驭分布式附件同步、实现鸿蒙端大文件离线存储与生命周期自动化管理方案

Flutter 组件 powersync_attachments_helper 的适配 鸿蒙Harmony 实战 - 驾驭分布式附件同步、实现鸿蒙端大文件离线存储与生命周期自动化管理方案

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net Flutter 组件 powersync_attachments_helper 的适配 鸿蒙Harmony 实战 - 驾驭分布式附件同步、实现鸿蒙端大文件离线存储与生命周期自动化管理方案 前言 在鸿蒙(OpenHarmony)生态的分布式多媒体协作、工业设备故障图片上报以及需要频繁处理大量音频/视频附件的专业级应用开发中,“非结构化数据与 SQL 逻辑的一致性同步”是决定应用能否在大规模复杂场景下存活的技术深水区。面对一条已经同步成功的“设备巡检记录”。如果其关联的“高清故障原图”因为同步时机错位、由于存储空间不足导致的本地缓存被回收,或者是在鸿蒙手机与平板之间由于同步策略不同步导致的文件路径失效。那么不仅会导致用户在查看详情时看到令人沮丧的“附件丢失”占位图,更会严重削弱政务类资产审计的底层严密性。 我们需要一种“逻辑关联、物理对齐”的附件治理艺术。 powersync_attachments_helper 是一套专为 PowerSync 设计的附件同步

By Ne0inhk
微服务链路追踪实战:SkyWalking vs Zipkin 架构深度解析与性能优化指南

微服务链路追踪实战:SkyWalking vs Zipkin 架构深度解析与性能优化指南

目录 1. 链路追踪:分布式系统的“X光机” 1.1 从单体到微服务:排查困境的演变 1.2 链路追踪的核心价值矩阵 2. 核心原理解析:Trace、Span与上下文传播 2.1 基本概念:一次请求的完整“病历” 2.2 上下文传播:Trace ID的“接力赛” 2.3 采样算法:平衡精度与开销的智慧 3. SkyWalking深度解析:无侵入监控的艺术 3.1 架构全景:从Agent到UI的完整链路 3.2 字节码增强:Java Agent的魔法 3.3 生产环境配置模板 3.4 性能特性与调优 4.

By Ne0inhk