Palantir 产品架构调研
描述：
2003 年创立，是一家美国上市公司，专注于大数据分析软件平台
Palantir Technologies 由硅谷神秘人物 Peter Thiel 共同创立。这位亿万富翁对冲基金经理是PayPal的创始成员之一，可以说是现代金融科技的教父。泰尔还是同名PayPal 黑手党的成员，该组织由一群被许多人认为是有远见的技术领导者的企业家组成。
该公司拥有三个主要项目：Palantir Gotham、Palantir Foundry 和 Palantir Apollo。 Palantir Gotham 是军队和反恐分析师使用的情报和防御工具。其客户包括美国情报界（USIC）和美国国防部。 他们的软件即服务 (SaaS)是美国国防部授权用于关键任务国家安全系统 (IL5) 的五种产品之一。Palantir Foundry 被摩根士丹利、 Merck KGaA 、 Airbus 、 Wejo 、 Lilium 、 PG&E和Fiat Chrysler Automobiles等企业客户用于数据集成和分析。 Palantir Apollo 是一个促进所有环境中持续集成/持续交付 (CI/CD)的平台。
2023年4月，该公司推出了人工智能平台（AIP），将大型语言模型集成到私有运营的网络中。该公司展示了其在战争中的用途，军事操作员能够通过人工智能聊天机器人部署行动并接收响应。
产品能力
Palantir 软件组要做了什么：
- 将所有数据整合到一个称为“本体”的单一管理平台中；
- 通过业务分析了解数据；
- 创建和管理人工智能模型；
- 在此基础上构建易于定制的软件应用程序以提高效率；
- 实施决策并记录未来建议的影响
能力图
本体Ontology
本体是Palantir整体软件架构得核心，所有功能都围绕本体进行展开，包括数据集成、数据分析、应用可视化开发、模型开发，都需要本体管理提供支持。
核心抽象：数据、逻辑、操作
本体是指数据到有意义的语义概念的系统映射
本体充当组织的数字孪生，包含启用所有类型用例所需的语义元素（对象、属性、链接）和动态元素（操作、功能、动态安全）
官方的示意图
系统架构
Ontology building 本体构建 | 本体是组织的操作层。本体位于集成到 Palantir 平台（数据集和模型）中的数字资产之上，并将它们与现实世界的对应物连接起来，范围从工厂、设备和产品等实物资产到客户订单或金融交易等概念。在许多设置中，本体充当组织的数字孪生，包含启用所有类型用例所需的语义元素（对象、属性、链接）和动态元素（操作、功能、动态安全） |
Data connectivity and integration 数据集成 | Foundry 提供了一组高度可配置的数据连接和集成工具，其范围远远超出了典型的提取-转换-加载 (ETL) 或提取-加载-转换 (ELT) 解决方案。 Foundry 旨在通过一系列丰富的功能来降低数据集成的成本，这些功能可作为数据团队的力量倍增器。虽然商品云服务为基本管道和实验提供存储和计算，但还需要许多额外的功能层来管理、交付和验证关键操作的数据集。 Foundry 旨在充当世界上最复杂环境的数据集成骨干。 |
Analytics 数据分析 | Foundry 为组织中的每种类型的用户提供与 Foundry 本体集成的分析功能。 Foundry 开箱即用，包含点击式工具和基于代码的工具，可实现基于表格的分析、自上而下的可视化分析、地理空间分析、时间分析等。 Foundry 中的分析旨在超越传统的“只读”范式，将数据写回本体，在统一的安全、沿袭和治理模型中产生有价值的新见解。 |
Model connectivity and development 模型开发 | 在 Palantir 平台中，模型是封装任何机器学习逻辑的工件。可以在数据管道、本体和应用程序层的工作流程中利用模型来支持各种不同的用例。 |
Application building 可视化应用开发 | 是一个灵活的、面向对象的应用程序构建工具 |
LLM | 内置OpenAI多种模型，支持集成第三方服务，为AIP提供基础AI能力 |
应用架构
主要产品
Palantir Gotham | 是 Palantir 的防御和情报产品。它是 Palantir 在美国情报界长期工作的演变，并被情报和国防机构使用。 Palantir Gotham 也被用作预测警务系统，这在其人工智能分析中引发了一些关于种族主义的争议 |
Palantir Foundry（本体） | 本体管理 |
palantir AIP（AI分析平台） | Palantir AIP 是一个综合平台，使组织能够提取、转换、建模和分析来自不同来源的大量结构化和非结构化数据。 AIP 基于可扩展的架构并配备了先进的分析功能，使开发人员和分析师能够从复杂的数据集中获得可行的见解，从而提高运营效率并促进各个领域的创新 |
AIP Logic（逻辑开发） | 使用AI来完成逻辑function构建，AIP Logic 是一个无代码开发环境，用于构建、测试和发布由LLMs支持的功能。 AIP Logic 使您能够构建功能丰富的 AI 驱动的函数，这些函数利用本体，而无需开发环境和 API 调用通常带来的复杂性。使用 Logic 的直观界面，应用程序构建者可以设计提示、测试、评估和监控、设置自动化等。 |
HyperAuto（自动集成） | （也称为软件定义数据集成或 SDDI）是一套功能，旨在在组织最常见和关键任务系统之上提供开箱即用的端到端数据集成功能。作为数字化转型的快速通道，HyperAuto 使您能够利用 ERP、CRM 和其他组织关键数据自主创建有价值的工作流程。 |
Workshop（程序开发） | Workshop是一个灵活的、面向对象的应用程序构建工具。 Workshop利用本体中的语义原语（例如，对象、链接）和动力学原语（例如，动作、函数）来实现高度交互的桌面和移动应用程序的快速交付 |
Slate （仪表盘） | 为构建者提供了一套灵活的工具来快速创建操作应用程序和交互式仪表板。 Slate 使应用程序开发人员能够通过拖放界面构建动态和响应式应用程序，从而减少开发时间和成本。 Slate 包含与 Foundry Ontology 无缝集成的功能，而且还使开发人员能够使用 HTML、CSS 和 JavaScript 完全自定义应用程序。通过自定义 Slate 应用程序，组织各个级别的利益相关者都可以快速探索和理解他们的数据，以便做出更明智的决策。 |
Analytics（分析） | Foundry 开箱即用，包含点击式工具和基于代码的工具，可实现基于表格的分析、自上而下的可视化分析、地理空间分析、时间分析等。 Foundry 中的分析旨在超越传统的“只读”范式，将数据写回本体，在统一的安全、沿袭和治理模型中产生有价值的新见解。 |
Solution Designer(解决方案设计) | 是一款交互式工具，用于创建使用 Palantir 平台构建的解决方案的架构表示，包括第一方和第三方集成点的表示、平台资源的链接、按需访问文档和最佳实践等。 |
核心技术
Palantir（本体构建）
是组织的操作层。本体位于集成到 Palantir 平台（数据集和模型）中的数字资产之上，并将它们与现实世界的对应物连接起来，范围从工厂、设备和产品等实物资产到客户订单或金融交易等概念。在许多设置中，本体充当组织的数字孪生，包含启用所有类型用例所需的语义元素（对象、属性、链接）和动态元素（操作、功能、动态安全）
Ontology SDK :
本体软件开发套件（SDK）允许您直接从开发环境访问本体的全部功能。您可以使用开发者控制台生成本体 SDK，这是一个使用 Palantir API 创建和管理应用程序的新门户。 Ontology SDK支持TypeScript的NPM（节点包管理器）包、Python的Pip或Conda、Java的Maven以及任何其他语言的OpenAPI规范。
Map（地图）
应用程序提供强大的地理空间和时间分析以及可视化功能，允许您将来自 Foundry 的数据集成到一个有凝聚力的地理空间体验中
Palantir's dynamic scheduling(动态调度)
Palantir 的动态调度功能使构建者能够创建调度和资源分配工作流程，反映其组织的现实复杂性并根据其特定需求量身定制。
Palantir HyperAuto（也称为软件定义数据集成或 SDDI）
是一套功能，旨在在组织最常见和关键任务系统之上提供开箱即用的端到端数据集成功能。作为数字化转型的快速通道，HyperAuto 使您能够利用 ERP、CRM 和其他组织关键数据自主创建有价值的工作流程。
ModelOps
AIP 实现了完整的 ModelOps 生命周期，涵盖问题定义、一个或多个候选解决方案的开发、这些解决方案的评估、部署、监控和迭代。模型可以在平台内开发，也可以在外部构建并导入
OAG（本体增强生成）
它是检索增强生成 (RAG) 的更广泛、以决策为中心的版本。在较高层面上，RAG 使生成式 AI 能够从外部来源检索数据。这使得LLMs能够利用特定于上下文的外部信息（例如，有关企业订单、客户、位置等的数据）来生成响应，从而降低产生幻觉的风险。借助 RAG， LLMs还可以引用用于生成特定响应的来源，建立信任并提供清晰的审计跟踪
OAG 将 RAG 提升到了一个新的水平，允许LLMs利用确定性逻辑工具（例如预测和优化器）和行动，通过 Palantir 本体来关闭与源系统的循环。每个企业的本体都包含在特定上下文中驱动运营决策的数据、逻辑和操作。将LLMs扎根于本体，可以有效地将他们锚定在给定业务的现实中，不仅推动更准确、更强大的应用程序，而且还建立更大的信任： LLMs可以有效地“展示他们的工作”，并从企业自身的运营现实中揭示特定来源
AIP Logic
是一个无代码开发环境，用于构建、测试和发布由LLMs支持的功能。 AIP Logic 使您能够构建功能丰富的 AI 驱动的函数，这些函数利用本体，而无需开发环境和 API 调用通常带来的复杂性。使用 Logic 的直观界面，应用程序构建者可以设计提示、测试、评估和监控、设置自动化等。
AIP Assist
一款由LLM支持的支持工具，旨在帮助用户导航、理解 Palantir 平台并创造价值。用户可以用自然语言向 AIP Assist 提问，并获得有关查询的实时帮助。
AIP assistant features in platform applications（平台应用程序中的 AIP 助手功能）
由本机LLM支持的功能，旨在帮助最终用户在 Palantir 平台中执行常规工作流程。这些是高度具体的功能，利用平台知识来加速用户的日常操作。
AIP capabilities for custom workflows(用于自定义工作流程的 AIP 功能)
一组功能，允许开发人员构建自己的LLM支持的工作流程或应用程序。这些是为开发人员或数据科学家构建的开放式功能。
教程demo
官方AIP系列教程：
视频合集：https://www.youtube.com/playlist?list=PLqTLGbLI0Cvmn-o_mZKkG7mr-TztcKFNZ
主要博客：
- 本体软件开发套件https://blog.palantir.com/building-with-palantir-aip-the-ontology-software-development-kit-823fe5ac7aae
- RAG / OAG 的数据工具：https://blog.palantir.com/building-with-palantir-aip-data-tools-for-rag-oag-b3b509c8b0f3
- RAG/OAG 的逻辑工具 https://blog.palantir.com/building-with-palantir-aip-logic-tools-for-rag-oag-fdaf8938d02e
- 加速数据集成和分析：https://medium.com/@amb39305/a-developers-guide-to-palantir-aip-accelerating-data-integration-and-analysis-c1509579aeb0
- 语义搜索：https://blog.palantir.com/building-with-palantir-aip-semantic-search-dc3adf40f6a6
demo 说明
我们有一家虚构的公司——泰坦工业公司——专门生产医疗用品，其一个配送中心遭遇火灾。火灾给泰坦的客户带来了短缺的风险，我们希望避免这种情况发生。
