Pathway 实时数据框架
Pathway 是一个用于流处理、实时分析、LLM 管道和 RAG 的 Python ETL 框架。它拥有易于使用的 Python API,能无缝集成各类 Python ML 库,代码可在开发和生产环境中使用,有效处理批量和流式数据。
项目信息
Pathway 是一个基于 Rust 引擎的 Python 流处理 ETL 框架,支持实时数据分析和 LLM 管道构建,具备高性能和易用性。OpenBB 是开源金融数据分析平台,提供多源数据整合能力,支持量化分析、AI 应用开发及 REST API 访问。两者均通过 Python 生态简化数据处理流程,适用于数据工程师和 AI 开发者。
Pathway 是一个用于流处理、实时分析、LLM 管道和 RAG 的 Python ETL 框架。它拥有易于使用的 Python API,能无缝集成各类 Python ML 库,代码可在开发和生产环境中使用,有效处理批量和流式数据。
项目信息

使用 pip install -U pathway 进行安装,要求 Python 3.10 或更高版本,支持 MacOS 和 Linux,其他系统需在虚拟机上运行。
示例代码如下:
import pathway as pw
# Define the schema of your data (Optional)
class InputSchema(pw.Schema):
value: int
# Connect to your data using connectors
input_table = pw.io.csv.read("./input/", schema=InputSchema)
# Define your operations on the data
filtered_table = input_table.filter(input_table.value >= 0)
result_table = filtered_table.reduce(sum_value=pw.reducers.sum(filtered_table.value))
# Load your results to external systems
pw.io.jsonlines.write(result_table, "output.jsonl")
# Run the computation
pw.run()
pathway 库,创建处理管道,使用 pw.run() 启动计算,可像普通 Python 脚本一样运行,也可使用 pathway spawn 命令,支持多线程。完整文档可在 https://pathway.com/developers/user-guide/introduction/welcome 查看,包括 API 文档。如有问题,可在 GitHub 仓库上开 issue。
与 Databento、LangChain、LlamaIndex、MinIO、PaddleOCR、Redpanda 等项目合作,共同推动数据工程的发展。
OpenBB 是一个提供金融数据分析与集成的平台。它是一个开源的金融数据工具,帮助分析师、量化交易员和 AI 代理获取、处理和分析金融市场数据。
项目信息

Open Data Platform by OpenBB (ODP) 是一个开源工具集,主要帮助数据工程师将专有、授权和公共数据源集成到下游应用程序,如 AI 助手和研究仪表盘。它作为'一次连接,随处使用'的基础设施层,能将数据整合并同时暴露到多个平台,包括供量化分析师使用的 Python 环境、供分析人员使用的 OpenBB Workspace 和 Excel、供 AI 代理使用的 MCP 服务器,以及供其他应用程序使用的 REST API。
从功能描述来看,它采用模块化设计,不同数据来源和下游应用对应不同模块,保证了扩展性和兼容性。同时,它与 OpenBB Workspace 无缝集成,体现出良好的分层架构。
pip install openbb 从 PyPI 包安装,也可通过 git clone https://github.com/OpenBB-finance/OpenBB.git 直接克隆仓库。更多安装过程可参考 OpenBB 文档。pip install openbb-cli 安装,也可通过克隆仓库安装,更多安装过程可参考 OpenBB 文档。
微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online