在線上集群中，有時候會遇到業(yè)務(wù)正常運行，但突然有一個Pod出現(xiàn)大量錯誤日志的情況，而其他Pod則正常運行。這種情況該如何處理呢？

直接刪除Pod可能會導(dǎo)致保留現(xiàn)場困難，并影響對問題根本原因的判斷。

讓業(yè)務(wù)方忍耐一會，先排查問題是否是Pod導(dǎo)致的嗎？這種方法可能會引起不滿。

最佳的解決方案是停止該Pod接收流量，并保留該Pod。

思路是：

1. 停止接收流量

通過修改Pod的標(biāo)簽來實現(xiàn)停止接收流量的動作。本質(zhì)上是通過將Pod從endpoint中移除，這樣無論是服務(wù)化還是http都會將當(dāng)前這個節(jié)點移除，不再轉(zhuǎn)發(fā)流量。當(dāng)然，前提是服務(wù)化和http的節(jié)點發(fā)現(xiàn)是基于k8s的endpoint來實現(xiàn)的（理論上都是這么干的，不排除有黑科技）。
首先要主動調(diào)用服務(wù)下線的方法，理論上這個調(diào)用應(yīng)該會配在Pod的prestop鉤子中，這樣在Pod被刪除時，會先調(diào)用這個方法，然后再刪除Pod。

preStop:
    exec:
      command:
      - /bin/sh
      - -c
      - /bin/stop.sh

1. 將Pod從Workload中移除

調(diào)用下線完畢后，再修改Pod的標(biāo)簽，使Pod脫離Workload的控制，變成孤兒Pod，要注意修改Pod標(biāo)簽也要讓service的selector選擇不到這個Pod，這樣Pod也就從endpoint中移除，服務(wù)發(fā)現(xiàn)也就感知不到這個節(jié)點了。

1. 如果Pod是消費型業(yè)務(wù)，比如nsq worker，不具備主動發(fā)起下線的方法，該怎么辦？

針對這種情況，可以直接將Pod的網(wǎng)絡(luò)切斷，這樣Pod就無法接收流量了。切斷方式也很簡單，直接在Pod上添加一個iptables規(guī)則，將流量全部丟棄即可。

/sbin/iptables -A INPUT -s {node_ip}/32 -j ACCEPT &&   // 允許節(jié)點訪問，避免kubelet liveness檢查失敗
/sbin/iptables -A OUTPUT -d {node_ip}/32 -j ACCEPT &&
/sbin/iptables -A OUTPUT -s localhost -d localhost -j ACCEPT &&
/sbin/iptables -A INPUT -s localhost -d localhost -j ACCEPT &&
/sbin/iptables -A INPUT -p tcp --tcp-flags RST RST -j ACCEPT &&
/sbin/iptables -A OUTPUT -p tcp --tcp-flags RST RST -j ACCEPT &&
/sbin/iptables -A INPUT -p tcp -j REJECT --reject-with tcp-reset &&
/sbin/iptables -A OUTPUT -p tcp -j REJECT --reject-with tcp-reset"""

• 異色邊緣龍局北辰卡組詳解
• 《怪化貓》系列第二章《火鼠》近日公開諸多新情報
• steam特賣頁面出現(xiàn)神秘粉發(fā)女孩 引發(fā)網(wǎng)友熱烈討論
• 大雪節(jié)氣活動：桃源深處有人家雪盛冬藏
• 游俠晚報：《絕地潛兵2》口碑上升 Fami通一周評分