Kubernetes与AI推理服务最佳实践

优质文章学习记录

— 6 min read

Kubernetes与AI推理服务最佳实践

1. AI推理服务核心概念

1.1 什么是AI推理服务

AI推理服务是指将训练好的AI模型部署为可访问的服务，用于实时或批量处理推理请求。在Kubernetes环境中，AI推理服务需要考虑资源管理、性能优化和高可用性。

1.2 常见的AI推理框架

  • TensorFlow Serving：Google开源的机器学习模型服务框架
  • TorchServe：PyTorch官方的模型服务框架
  • ONNX Runtime：微软开源的跨平台推理引擎
  • Triton Inference Server：NVIDIA开源的高性能推理服务器

2. GPU资源管理

2.1 安装GPU驱动和NVIDIA Device Plugin

# 安装NVIDIA驱动（在节点上执行） apt-get install -y nvidia-driver-535 # 安装NVIDIA Device Plugin kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.0/nvidia-device-plugin.yml # 验证GPU资源 kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t":.status.capacity.nvidia\.com/gpu}{"\n"}{end}'

2.2 GPU资源分配

部署使用GPU的推理服务

apiVersion: apps/v1 kind: Deployment metadata: name: tensorflow-serving namespace: default spec: replicas: 2 selector: matchLabels: app: tensorflow-serving template: metadata: labels: app: tensorflow-serving spec: containers: - name: tensorflow-serving image: tensorflow/serving:latest ports: - containerPort: 8501 resources: limits: nvidia.com/gpu: 1 requests: nvidia.com/gpu: 1 volumeMounts: - name: model-volume mountPath: /models volumes: - name: model-volume persistentVolumeClaim: claimName: model-pvc

3. TensorFlow Serving部署

3.1 准备模型

# 下载示例模型 mkdir -p models/mnist/1 wget -O models/mnist/1/saved_model.pb https://storage.googleapis.com/download.tensorflow.org/models/official/20181001_resnet/savedmodels/resnet_v2_fp32_savedmodel_NHWC_jpg.tar.gz # 创建模型存储 kubectl create -f - <<EOF apiVersion: v1 kind: PersistentVolumeClaim metadata: name: model-pvc namespace: default spec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi EOF

3.2 部署TensorFlow Serving

deployment.yaml

apiVersion: apps/v1 kind: Deployment metadata: name: tf-serving namespace: default spec: replicas: 2 selector: matchLabels: app: tf-serving template: metadata: labels: app: tf-serving spec: containers: - name: tf-serving image: tensorflow/serving:latest ports: - containerPort: 8500 - containerPort: 8501 env: - name: MODEL_NAME value: mnist volumeMounts: - name: model-volume mountPath: /models volumes: - name: model-volume persistentVolumeClaim: claimName: model-pvc

service.yaml

apiVersion: v1 kind: Service metadata: name: tf-serving namespace: default spec: selector: app: tf-serving ports: - port: 8501 targetPort: 8501 type: LoadBalancer 
# 部署服务 kubectl apply -f deployment.yaml kubectl apply -f service.yaml # 测试推理服务 MODEL_SERVICE=$(kubectl get svc tf-serving -o jsonpath='{.status.loadBalancer.ingress[0].ip}') curl -d '{"instances": [[[0.0 for _ in range(28)] for _ in range(28)]]}' -X POST http://$MODEL_SERVICE:8501/v1/models/mnist:predict

4. Triton Inference Server部署

4.1 安装Triton Inference Server

deployment.yaml

apiVersion: apps/v1 kind: Deployment metadata: name: triton-server namespace: default spec: replicas: 2 selector: matchLabels: app: triton-server template: metadata: labels: app: triton-server spec: containers: - name: triton-server image: nvcr.io/nvidia/tritonserver:23.08-py3 ports: - containerPort: 8000 - containerPort: 8001 - containerPort: 8002 resources: limits: nvidia.com/gpu: 1 requests: nvidia.com/gpu: 1 volumeMounts: - name: model-volume mountPath: /models volumes: - name: model-volume persistentVolumeClaim: claimName: model-pvc

service.yaml

apiVersion: v1 kind: Service metadata: name: triton-server namespace: default spec: selector: app: triton-server ports: - port: 8000 targetPort: 8000 - port: 8001 targetPort: 8001 - port: 8002 targetPort: 8002 type: LoadBalancer 
# 部署服务 kubectl apply -f deployment.yaml kubectl apply -f service.yaml # 检查服务状态 kubectl get pods -l app=triton-server

5. 性能优化

5.1 模型优化

  1. 模型量化：将模型从FP32量化为INT8或FP16
  2. 模型剪枝：移除冗余的神经元和连接
  3. 模型蒸馏：使用大模型训练小模型

5.2 推理服务优化

配置批处理

apiVersion: apps/v1 kind: Deployment metadata: name: tf-serving-batched namespace: default spec: replicas: 2 selector: matchLabels: app: tf-serving-batched template: metadata: labels: app: tf-serving-batched spec: containers: - name: tf-serving image: tensorflow/serving:latest ports: - containerPort: 8501 env: - name: MODEL_NAME value: mnist - name: TF_FORCE_GPU_ALLOW_GROWTH value: "true" - name: BATCH_SIZE value: "32" resources: limits: nvidia.com/gpu: 1 requests: nvidia.com/gpu: 1

5.3 自动缩放

HPA配置

apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: tf-serving-hpa namespace: default spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: tf-serving minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70 - type: Resource resource: name: memory target: type: Utilization averageUtilization: 80

6. 监控与可观测性

6.1 监控配置

Prometheus配置

apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: tf-serving-monitor namespace: monitoring spec: selector: matchLabels: app: tf-serving endpoints: - port: 8501 path: /v1/monitoring/prometheus interval: 15s

6.2 日志管理

日志配置

apiVersion: apps/v1 kind: Deployment metadata: name: tf-serving namespace: default spec: # ... template: spec: containers: - name: tf-serving image: tensorflow/serving:latest # ... env: - name: TF_CPP_MIN_LOG_LEVEL value: "0" - name: TF_ENABLE_GPU_GARBAGE_COLLECTION value: "true" args: - --model_name=mnist - --model_base_path=/models/mnist - --enable_batching=true - --batching_parameters_file=/models/batching_parameters.txt

7. 安全最佳实践

7.1 模型安全

  1. 模型加密：使用加密技术保护模型文件
  2. 访问控制：使用RBAC限制模型访问
  3. 模型版本管理：追踪模型版本和变更

7.2 网络安全

网络策略

apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: ai-inference-network-policy namespace: default spec: podSelector: matchLabels: app: tf-serving policyTypes: - Ingress - Egress ingress: - from: - podSelector: matchLabels: app: api-gateway ports: - protocol: TCP port: 8501 egress: - to: - podSelector: matchLabels: app: monitoring ports: - protocol: TCP port: 9090

8. 实际应用场景

8.1 多模型部署

多模型配置

apiVersion: apps/v1 kind: Deployment metadata: name: triton-multi-model namespace: default spec: replicas: 2 selector: matchLabels: app: triton-multi-model template: metadata: labels: app: triton-multi-model spec: containers: - name: triton-server image: nvcr.io/nvidia/tritonserver:23.08-py3 ports: - containerPort: 8000 - containerPort: 8001 - containerPort: 8002 resources: limits: nvidia.com/gpu: 1 requests: nvidia.com/gpu: 1 volumeMounts: - name: model-volume mountPath: /models volumes: - name: model-volume persistentVolumeClaim: claimName: models-pvc

8.2 A/B测试

A/B测试配置

apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: ai-inference-ingress namespace: default annotations: nginx.ingress.kubernetes.io/canary: "true" nginx.ingress.kubernetes.io/canary-weight: "20" spec: rules: - host: inference.example.com http: paths: - path: /v1/models pathType: Prefix backend: service: name: tf-serving-v2 port: number: 8501

9. 故障排查

9.1 常见问题解决

# 查看GPU使用情况 kubectl exec -it <pod-name> -- nvidia-smi # 查看推理服务日志 kubectl logs -l app=tf-serving # 检查模型状态 curl http://<service-ip>:8501/v1/models/mnist # 测试推理服务 curl -d '{"instances": [[[0.0 for _ in range(28)] for _ in range(28)]]}' -X POST http://<service-ip>:8501/v1/models/mnist:predict

9.2 调试技巧

  1. 启用详细日志：设置TF_CPP_MIN_LOG_LEVEL=0
  2. 使用GPU分析工具：nvidia-smi、nvprof
  3. 检查网络连接：确保服务可以正常访问
  4. 验证模型格式：确保模型格式正确

10. 总结

Kubernetes为AI推理服务提供了强大的部署和管理能力。通过合理配置GPU资源、优化模型和服务参数，可以构建高性能、可靠的AI推理服务。

关键要点：

  • 正确配置GPU资源管理
  • 选择适合的推理框架
  • 优化模型和服务性能
  • 实施安全最佳实践
  • 建立完善的监控和可观测性

通过以上最佳实践，可以充分发挥Kubernetes的优势，构建更加高效、可靠的AI推理服务。

Read more

Local Moondream2实战案例：独立开发者用其构建AI绘画灵感助手App

Local Moondream2实战案例：独立开发者用其构建AI绘画灵感助手App 你有没有遇到过这样的创作瓶颈？脑子里有个模糊的画面，却怎么也找不到合适的词语来描述它，AI绘画工具生成的图片总是差那么点意思。或者，在网上看到一张惊艳的图片，想学习它的构图和风格，却不知从何分析起。 对于独立开发者或小型创意团队来说，聘请专业的设计师或购买昂贵的创意工具往往成本高昂。今天，我要分享一个实战案例：如何利用一个名为 Local Moondream2 的超轻量级工具，快速构建一个完全运行在你个人电脑上的“AI绘画灵感助手”，彻底解决上述痛点。 1. 为什么选择Local Moondream2？ 在开始动手之前，我们先搞清楚这个工具到底能做什么，以及它为何适合独立开发者。 简单来说，Local Moondream2 是一个给你的电脑装上“眼睛”的本地化应用。你上传任何图片，它都能“看懂”，并用英文告诉你图片里有什么。它的核心能力有三项，每一项都对创意工作者极具价值： * 详细描述图片：它能生成一段极其详尽的英文描述，远超简单的“一只猫在沙发上”。这段描述可以直接用作AI绘画（如S

芯片制造行业如何通过WebUploader+PHP加密传输工程文件的分片数据？

《一个码农的奇幻外包漂流记》 需求分析会：当甲方爸爸说出"简单"二字时… 各位老铁们好！我是辽宁沈阳一名"资深"前端码农（资深=头发少）。刚接到个外包需求，看完后我直接表演了个东北式懵逼： 甲方需求翻译大赛： * “要支持20G文件” → “希望你电脑硬盘够大” * “兼容IE9” → “希望你心态够好” * “1000+文件的文件夹结构” → “希望你记忆力超群” * “预算100元含3年维护” → “希望你家里有矿” * “7×24小时支持” → “希望你不需要睡觉” 技术选型：穷且益坚版解决方案 前端部分（Vue3+原生JS缝合怪版） // 文件夹上传器（贫困版）classDiaoSiFolderUploader{constructor(){this.chunkSize =5*1024*1024;// 5MB一片this.maxTry =99;// 最大重试次数（因为甲方网络是2G）this.
（附源码）基于Java web的在线考试系统的设计与实现-计算机毕设 33482

（附源码）基于Java web的在线考试系统的设计与实现-计算机毕设 33482

基于Java web的在线考试系统的设计与实现 摘  要 随着信息技术的迅速发展，教育行业对在线考试系统的需求不断增加，尤其是在数字化转型的背景下，传统的人工考试管理方式逐渐暴露出诸多问题，如效率低、资源浪费、信息滞后等。为了提升考试管理的效率和学生的学习体验，在线考试系统的开发显得尤为重要。 该系统的功能设计主要包括：学生在线报名、考试、成绩查询、错题管理等功能；教师可以发布、编辑试卷、批改作业、查看成绩分析等；管理员负责系统用户管理、考试资源调度、公告发布等。系统通过清晰的角色分配，确保各类用户能够高效使用系统，实现学习、教学和管理的数字化与智能化。 技术方案上，系统前端采用Vue.js框架构建，实现与用户的良好交互；后端使用SpringBoot框架，结合Java语言进行业务逻辑处理，确保系统的高性能和可扩展性；MySQL数据库用于存储用户数据、考试成绩、题库信息等，保障数据的高效管理和查询性能。 通过在线考试系统的实施能够大幅提升考试管理效率，减少人工干预，优化资源分配，增强学生的参与感和互动体验。该系统不仅能帮助教育机构实现信息化管理，还能为学生和教师提供便捷
微信小程序webview postmessage通信指南

微信小程序webview postmessage通信指南

需求概述 在微信小程序中使用 web-view 组件与内嵌网页进行双向通信，主要通过 postMessage 实现。以下是完整的配置和使用方法： 通信指南 微信小程序webview官方文档 1. 基础配置 小程序端配置 // app.json 或 page.json { "usingComponents": {}, "permission": { "scope.webView": { "desc": "用于网页和小程序通信" } } } 网页端配置 <!-- 内嵌网页需引入微信JS-SDK --> <script src="https://res.wx.qq.com/open/