Spark 核心更新：Python UDF AST 转译与 K8s 突发内存感知机制

汇总了 Spark 社区近期技术讨论。首先确认 Catalyst 树转换中节点替换会导致剪枝状态失效，需优先保证正确性。其次提出 Spark Connect 元数据异步解析与客户端缓存机制，解决交互延迟问题。此外探讨了通过 AST 转译提升 Python UDF 性能的方案，以及基于 K8s Request/Limit 分离的内存超卖优化算法，旨在降低成本并提升调度效率。