请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
搜索

本文来自

服务器安全专区

服务器安全专区

人已关注

请添加对本版块的简短描述

精选帖子

kube-prometheus 使用持久存储

[复制链接]
abc
4960 abc 发表于 2020-12-2 17:59:48
  1. kube-prometheus使用持久存储
  2. prometheus operator部署参考：
  3. https://blog.csdn.net/networken/article/details/85620793
  4. 持久存储配置参考：
  5. https://github.com/coreos/prometheus-operator/blob/master/Documentation/user-guides/storage.md

  7. prometheus默认使用empty-dir存储数据，pod迁移或重启监控数据将丢失，下面以nfs和local pv为例，持久化prometheus数据。

  9. 使用nfs存储
  10. nfs server及动态提供存储参考：
  11. https://blog.csdn.net/networken/article/details/86697018

  13. 下面是在部署kube-prometheus之前，修改官方manifests下的prometheus-prometheus.yaml内容，只在最后增加storage配置即可，注意指定storageClassName需要提前准备好。

  15. # cat manifests/prometheus-prometheus.yaml
  16. apiVersion: monitoring.coreos.com/v1
  17. kind: Prometheus
  18. metadata:
  19.   labels:
  20.     prometheus: k8s
  21.   name: k8s
  22.   namespace: monitoring
  23. spec:
  24.   alerting:
  25.     alertmanagers:
  26.     - name: alertmanager-main
  27.       namespace: monitoring
  28.       port: web
  29.   image: willdockerhub/prometheus:v2.15.2
  30.   nodeSelector:
  31.     kubernetes.io/os: linux
  32.   podMonitorNamespaceSelector: {}
  33.   podMonitorSelector: {}
  34.   replicas: 2
  35.   resources:
  36.     requests:
  37.       memory: 400Mi
  38.   ruleSelector:
  39.     matchLabels:
  40.       prometheus: k8s
  41.       role: alert-rules
  42.   securityContext:
  43.     fsGroup: 2000
  44.     runAsNonRoot: true
  45.     runAsUser: 1000
  46.   serviceAccountName: prometheus-k8s
  47.   serviceMonitorNamespaceSelector: {}
  48.   serviceMonitorSelector: {}
  49.   version: v2.15.2
  50.   storage:
  51.     volumeClaimTemplate:
  52.       spec:
  53.         storageClassName: nfs-client
  54.         resources:
  55.           requests:
  56.             storage: 40Gi
  57. 修改后按照官方部署方式部署prometheus即可，部署完成后可以看到创建的pv和pvc:

  59. 查看绑定的pv和pvc

  61. [root@master01 ~]# kubectl -n monitoring get pvc
  62. NAME                                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
  63. prometheus-k8s-db-prometheus-k8s-0   Bound    pvc-a8b091d5-3929-4a29-b89f-fe47022aee55   40Gi       RWO            nfs-client     9h
  64. prometheus-k8s-db-prometheus-k8s-1   Bound    pvc-1276a939-7d5d-43b9-ade9-ae0ef4108ecc   40Gi       RWO            nfs-client     9h

  66. [root@master01 ~]# kubectl -n monitoring get pv
  67. NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                           STORAGECLASS   REASON   AGE
  68. pvc-1276a939-7d5d-43b9-ade9-ae0ef4108ecc   40Gi       RWO            Delete           Bound    monitoring/prometheus-k8s-db-prometheus-k8s-1   nfs-client              9h
  69. pvc-a8b091d5-3929-4a29-b89f-fe47022aee55   40Gi       RWO            Delete           Bound    monitoring/prometheus-k8s-db-prometheus-k8s-0   nfs-client              9h
  70. [root@master01 ~]#
  71. 删除pvc后保留pv需要更改pv回收策略为Retain：

  73. kubectl patch pv <your-pv-name> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'
  74. 使用local pv
  75. 创建storageclass yaml文件

  77. cat > promethues-sc.yaml <kind: StorageClass
  78. apiVersion: storage.k8s.io/v1
  79. metadata:
  80.   name: local-storage
  81. provisioner: kubernetes.io/no-provisioner
  82. volumeBindingMode: WaitForFirstConsumer
  83. EOF
  84. 创建storage class

  86. kubectl apply -f prometheus-sc.yaml
  87. 定义prometheus配置，同样修改 manifests/prometheus-prometheus.yaml文件，然后按照正常流程部署kube-prometheus即可。

  89. # cat manifests/prometheus-prometheus.yaml
  90. apiVersion: monitoring.coreos.com/v1
  91. kind: Prometheus
  92. metadata:
  93.   labels:
  94.     prometheus: k8s
  95.   name: k8s
  96.   namespace: monitoring
  97. spec:
  98.   alerting:
  99.     alertmanagers:
  100.     - name: alertmanager-main
  101.       namespace: monitoring
  102.       port: web
  103.   image: willdockerhub/prometheus:v2.15.2
  104.   nodeSelector:
  105.     kubernetes.io/os: linux
  106.   podMonitorNamespaceSelector: {}
  107.   podMonitorSelector: {}
  108.   replicas: 2
  109.   resources:
  110.     requests:
  111.       memory: 400Mi
  112.   ruleSelector:
  113.     matchLabels:
  114.       prometheus: k8s
  115.       role: alert-rules
  116.   securityContext:
  117.     fsGroup: 2000
  118.     runAsNonRoot: true
  119.     runAsUser: 1000
  120.   serviceAccountName: prometheus-k8s
  121.   serviceMonitorNamespaceSelector: {}
  122.   serviceMonitorSelector: {}
  123.   version: v2.15.2
  124.   storage:
  125.     volumeClaimTemplate:
  126.       spec:
  127.         selector:
  128.           matchLabels:
  129.             app: prometheus
  130.         storageClassName: local-storage
  131.         resources:
  132.           requests:
  133.             storage: 20Gi

  135. ---
  136. apiVersion: v1
  137. kind: PersistentVolume
  138. metadata:
  139.   name: prom-local-pv-0
  140.   labels:
  141.     app: prometheus  
  142. spec:
  143.   capacity:
  144.     storage: 20Gi
  145.   volumeMode: Filesystem
  146.   accessModes:
  147.   - ReadWriteOnce
  148.   persistentVolumeReclaimPolicy: Retain
  149.   storageClassName: local-storage
  150.   local:
  151.     path: /data/prometheus/data
  152.   nodeAffinity:
  153.     required:
  154.       nodeSelectorTerms:
  155.       - matchExpressions:
  156.         - key: kubernetes.io/hostname
  157.           operator: In
  158.           values:
  159.           - node01               
  160. ---
  161. apiVersion: v1
  162. kind: PersistentVolume
  163. metadata:
  164.   name: prom-local-pv-1
  165.   labels:
  166.     app: prometheus  
  167. spec:
  168.   capacity:
  169.     storage: 20Gi
  170.   volumeMode: Filesystem
  171.   accessModes:
  172.   - ReadWriteOnce
  173.   persistentVolumeReclaimPolicy: Retain
  174.   storageClassName: local-storage
  175.   local:
  176.     path: /data/prometheus/data
  177.   nodeAffinity:
  178.     required:
  179.       nodeSelectorTerms:
  180.       - matchExpressions:
  181.         - key: kubernetes.io/hostname
  182.           operator: In
  183.           values:
  184.           - node02
  185. 手动在pv指定的节点中创建挂载目录

  187. mkdir -p /data/prometheus/data
  188. 部署完成后查看创建的pvc和pv

  190. [root@master01 ~]# kubectl -n monitoring get pvc
  191. NAME                                 STATUS   VOLUME            CAPACITY   ACCESS MODES   STORAGECLASS    AGE
  192. prometheus-k8s-db-prometheus-k8s-0   Bound    prom-local-pv-1   20Gi       RWO            local-storage   42m
  193. prometheus-k8s-db-prometheus-k8s-1   Bound    prom-local-pv-0   20Gi       RWO            local-storage   42m

  195. [root@master01 ~]# kubectl get pv
  196. NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM                                           STORAGECLASS    REASON   AGE
  197. prom-local-pv-0                            20Gi       RWO            Retain           Bound      monitoring/prometheus-k8s-db-prometheus-k8s-1   local-storage            42m
  198. prom-local-pv-1                            20Gi       RWO            Retain           Bound      monitoring/prometheus-k8s-db-prometheus-k8s-0   local-storage            42m




复制代码
https://www.it610.com/article/1288641746128936960.htmhttps://blog.csdn.net/networken/article/details/106381712
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋手机版Archiver安全专题 - www.aqzt.com ( 闽ICP备14000812号 )

Powered by Discuz模板 X3.4 , All rights reserved. 版权所有
快速回复 返回顶部 返回列表