K8S搭建NACOS集群踩坑问题

一、NACOS容器启动成功无法访问

1. 现象描述：通过K8S的statefulset启动，通过NodePort暴露不能在外网访问，只能在MASTER主节点访问。

2. yaml配置：

1.  
   apiVersion: apps/v1
2.  
   kind: StatefulSet
3.  
   metadata:
4.  
   name: 'nacos-${parameters.nameSpace}-dm'
5.  
   namespace: '${parameters.nameSpace}'
6.  
   spec:
7.  
   replicas: 1
8.  
   selector:
9.  
   matchLabels:
10.  
    app: 'nacos-${parameters.nameSpace}'
11.  
    serviceName: 'nacos-${parameters.nameSpace}'
12.  
    template:
13.  
    metadata:
14.  
    annotations:
15.  
    pod.alpha.kubernetes.io/initialized: 'true'
16.  
    labels:
17.  
    app: 'nacos-${parameters.nameSpace}'
18.  
    spec:
19.  
    containers:
20.  
    - env:
21.  
    - name: NACOS_REPLICAS
22.  
    value: '1'
23.  
    - name: MYSQL_SERVICE_HOST
24.  
    valueFrom:
25.  
    configMapKeyRef:
26.  
    key: mysql.host
27.  
    name: 'nacos-${parameters.nameSpace}-cm'
28.  
    - name: MYSQL_SERVICE_DB_NAME
29.  
    valueFrom:
30.  
    configMapKeyRef:
31.  
    key: mysql.db.name
32.  
    name: 'nacos-${parameters.nameSpace}-cm'
33.  
    - name: MYSQL_SERVICE_PORT
34.  
    valueFrom:
35.  
    configMapKeyRef:
36.  
    key: mysql.port
37.  
    name: 'nacos-${parameters.nameSpace}-cm'
38.  
    - name: MYSQL_SERVICE_USER
39.  
    valueFrom:
40.  
    configMapKeyRef:
41.  
    key: mysql.user
42.  
    name: 'nacos-${parameters.nameSpace}-cm'
43.  
    - name: MYSQL_SERVICE_PASSWORD
44.  
    valueFrom:
45.  
    configMapKeyRef:
46.  
    key: mysql.password
47.  
    name: 'nacos-${parameters.nameSpace}-cm'
48.  
    - name: MODE
49.  
    value: cluster
50.  
    - name: NACOS_SERVER_PORT
51.  
    value: '8848'
52.  
    - name: NACOS_APPLICATION_PORT
53.  
    value: '8848'
54.  
    - name: NACOS_SERVERS
55.  
    value: >-
56.  
    nacos-${parameters.nameSpace}-dm-0.nacos-${parameters.nameSpace}.${parameters.nameSpace}.svc.cluster.local:8848
57.  
    - name: PREFER_HOST_MODE
58.  
    value: hostname
59.  
    - name: nacos.naming.data.warmup
60.  
    value: 'false'
61.  
    image: 'nacos/nacos-server:2.0.3'
62.  
    imagePullPolicy: Always
63.  
    name: k8snacos
64.  
    ports:
65.  
    - containerPort: 8848
66.  
    name: client
67.  
    - containerPort: 9848
68.  
    name: client-rpc
69.  
    - containerPort: 9849
70.  
    name: raft-rpc
71.  
    resources:
72.  
    requests:
73.  
    cpu: 500m
74.  
    memory: 2Gi
75.  
    imagePullSecrets:
76.  
    - name: '${parameters.imagePullSecrets}'
77.  
    nodeName: host-52
78.  
    hostNetwork: true
79.  
     
80.  
     
81.  
    apiVersion: v1
82.  
    kind: Service
83.  
    metadata:
84.  
    labels:
85.  
    app: 'nacos-${parameters.nameSpace}'
86.  
    name: 'nacos-${parameters.nameSpace}'
87.  
    namespace: '${parameters.nameSpace}'
88.  
    spec:
89.  
    ports:
90.  
    - name: server
91.  
    nodePort: 28855
92.  
    port: 8848
93.  
    targetPort: 8848
94.  
    selector:
95.  
    app: 'nacos-${parameters.nameSpace}'
96.  
    type: NodePort
97.  
     

3. 原因分析： 因为我们要将POD固定运行在NODE52这台节点上，所以加上了

nodeName: host-52，但是同时也加上了hostNetwork: true，导致POD已经启动，但是只能在主节点通过28855端口访问，其它局域网机构加上28855端口无法访问。

在k8s中，若pod使用主机网络，也就是hostNetwork=true。则该pod会使用主机的dns以及所有网络配置，默认情况下是无法使用k8s自带的dns解析服务

但是可以修改DNS策略或者修改主机上的 域名 解析（/etc/resolv.conf），使主机可以用k8s自身的dns服务。一般通过DNS策略（ClusterFirstWithHostNet）来使用k8s DNS内部域名解析，k8s DNS策略如下：

Default： 继承Pod所在宿主机的DNS设置，hostNetwork的默认策略。

ClusterFirst（默认DNS策略）：优先使用kubernetes环境的dns服务，将无法解析的域名转发到从宿主机继承的dns服务器。

ClusterFirstWithHostNet：和ClusterFirst类似，对于以hostNetwork模式运行的Pod应明确知道使用该策略。也是可以同时解析内部和外部的域名。

None： 忽略kubernetes环境的dns配置，通过spec.dnsConfig自定义DNS配置。

4. 修改方案

4.1 一般使用主机网络就增加如下几行即可：

hostNetwork:true dnsPolicy:"ClusterFirstWithHostNet"

4.2 第二种方案 去除 hostNetwork:true

二、无法拉取私有仓库镜像

1. 现象描述

kubectl describe pod nacos-itest-dm-0 -n itest

1.  
   Events:
2.  
   Type Reason Age From Message
3.  
   ---- ------ ---- ---- -------
4.  
   Normal Scheduled 6m25s default-scheduler Successfully assigned gov-itest/nacos-gov-itest-dm-0 to host-112
5.  
   Normal SandboxChanged 6m23s kubelet Pod sandbox changed, it will be killed and re-created.
6.  
   Warning Failed 5m41s (x3 over 6m24s) kubelet Failed to pull image "public-repository/prdsl/nacos-server:2.0.2": rpc error: code = Unknown desc = Get unauthorized: Invalid credential. 请确认输入了正确的用户名和密码。
7.  
   Warning Failed 5m41s (x3 over 6m24s) kubelet Error: ErrImagePull
8.  
   Normal BackOff 5m7s (x7 over 6m22s) kubelet Back-off pulling image "public-repository/prdsl/nacos-server:2.0.2"
9.  
   Normal Pulling 4m53s (x4 over 6m24s) kubelet Pulling image "public-repository/prdsl/nacos-server:2.0.2"
10.  
    Warning Failed 75s (x23 over 6m22s) kubelet Error: ImagePullBackOff

2. 原因分析 没有配置私有镜像仓库的拉取密钥

imagePullSecrets:

- name: '${parameters.imagePullSecrets}'

加上这个即可。

查看密钥

kubectl get secret

magePullSecret资源将Secret提供的密码传递给kubelet从而在拉取镜像前完成必要的认证过程，简单说就是你的镜像仓库是私有的，每次拉取是需要认证的。

配置说明

创建docker-registry类型的Secret对象，并在定义pod资源时明确通过"imagePullSecrets"字段来申明使用哪个私钥去认证；

创建docker-registry类型的Secret对象，然后把它添加到某个ServiceAccount对象中，使用了这个ServiceAccount对象创建出来的pod就自然而然通过认证获取到镜像；