ESXi SMART 경고: REALLOCATED SECTOR CT below threshold 분석

ESXi SMART 경고: REALLOCATED SECTOR CT below threshold 분석

ESXi /var/log/syslog.log에서 아래와 같은 SMART 경고를 봤을 때 어떻게 해석하고 조치할지 장애 분석 절차다.

2022-07-14T17:29:59Z smartd: [warn] t10.NVMe____SHGP312D1000GM2D2_________________________FFFFFFFFFFFFFFFF: REALLOCATED SECTOR CT below threshold (0 < 90)

중요한 점은 "30분마다 도는 정기 SMART 체크에서 나온 로그"라는 사실이 곧 "정상"을 의미하지 않는다는 것이다. 정기 체크가 돌았고, 그 체크가 디스크 건강 지표 중 하나를 임계값 아래로 판단했기 때문에 경고가 발생한 것이다. 특히 REALLOCATED SECTOR CT는 섹터 재할당과 관련된 항목이라 운영 스토리지에서는 디스크 교체 또는 데이터 보호 조치를 검토해야 한다.

로그가 의미하는 것

1. 경고 반복 여부 확인

먼저 같은 디바이스에서 경고가 반복되는지 확인한다. 한 번만 나온 경고도 무시하면 안 되지만, 반복 주기와 항목을 보면 장애 진행 속도를 판단할 수 있다.

grep -i "REALLOCATED SECTOR\\|smartd" /var/log/syslog.log
grep -i "t10.NVMe____SHGP312D1000GM2D2" /var/log/syslog.log

SMART 체크 주기 자체는 다음과 같은 로그로 확인할 수 있다.

2022-07-13T22:57:52Z smartd: [warn] smartd starts to run with interval 30 minutes

2. ESXi 디바이스 식별

syslog의 t10, naa, eui 식별자를 실제 디스크와 매핑한다. vSAN, 로컬 datastore, RAID controller, NVMe pass-through 여부에 따라 보이는 정보가 달라질 수 있다.

esxcli storage core device list
esxcli storage filesystem list
esxcli storage core path list

특정 디바이스만 자세히 보려면 아래처럼 조회한다.

DEVICE="t10.NVMe____SHGP312D1000GM2D2_________________________FFFFFFFFFFFFFFFF"

esxcli storage core device list -d "${DEVICE}"
esxcli storage core path list -d "${DEVICE}"

3. SMART 값 조회

SATA/SAS처럼 ESXi storage core SMART 명령으로 조회되는 디바이스라면 다음 명령을 사용한다.

DEVICE="t10.NVMe____SHGP312D1000GM2D2_________________________FFFFFFFFFFFFFFFF"

esxcli storage core device smart get -d "${DEVICE}"

NVMe 디바이스는 adapter 기준으로 SMART log를 확인해야 하는 경우가 많다. 먼저 NVMe adapter를 확인한 뒤 SMART log와 error log를 같이 본다.

esxcli nvme device list

ADAPTER="vmhba3"
esxcli nvme device log smart get -A "${ADAPTER}"
esxcli nvme device log error get -e 16 -A "${ADAPTER}"

실습에서 사용한 명령도 이 흐름에 들어간다.

esxcli nvme device log smart get -A vmhba3
esxcli nvme device log error get -e 1 -A vmhba3
esxcli storage core device smart get -d "t10.NVMe____SHGP312D1000GM2D2_________________________FFFFFFFFFFFFFFFF" | grep "ReallocatedSector Count"

4. RAID 컨트롤러와 벤더 도구 확인

서버가 HPE Smart Array, Dell PERC, Broadcom MegaRAID 같은 RAID controller 뒤에 디스크를 물고 있으면 ESXi 기본 SMART 명령만으로 물리 디스크 상태가 충분히 나오지 않을 수 있다. 이 경우에는 iDRAC, iLO, RAID controller CLI, 벤더 플러그인에서 물리 슬롯 상태를 확인해야 한다.

# ESXi에서 컨트롤러와 디바이스 힌트를 확인하는 예시
esxcli storage core adapter list
esxcli storage core device list | less
esxcli hardware pci list | less

운영 판단은 "ESXi에서 어떤 문자열이 보였는가"보다 "해당 물리 디스크가 어떤 RAID group, datastore, vSAN disk group, VM에 영향을 주는가"에 맞춰야 한다.

5. 조치 기준

6. VM 보호와 작업 순서

SMART 경고가 난 디스크 위에 VM이 있다면 먼저 백업 가능성을 확인한다. 스토리지가 이미 불안정한 상태라면 대량 복사나 snapshot 생성이 오히려 읽기 부하를 키울 수 있으므로 우선순위를 정해야 한다.

vim-cmd vmsvc/getallvms
esxcli storage filesystem list
du -sh /vmfs/volumes/DATASTORE_NAME/* 2>/dev/null | sort -h

조치 순서는 보통 다음과 같다.

1. 경고 디바이스와 실제 물리 슬롯을 매핑한다.
2. 해당 datastore 또는 disk group에 올라간 VM 목록을 파악한다.
3. 중요 VM부터 백업, 복제, 마이그레이션 가능성을 확인한다.
4. 스토리지 이중화 상태를 확인한 뒤 maintenance 또는 evacuate 절차를 잡는다.
5. 디스크 교체 후 SMART 값, controller 상태, datastore 상태를 다시 확인한다.

7. 교체 후 확인

grep -i "REALLOCATED SECTOR\\|smartd" /var/log/syslog.log
esxcli storage core device list
esxcli storage filesystem list

# NVMe 환경
esxcli nvme device list
esxcli nvme device log smart get -A vmhba3

정리

REALLOCATED SECTOR CT below threshold (0 < 90)는 "정기 점검 로그라서 괜찮다"가 아니라 "정기 점검이 디스크 이상 징후를 잡았다"로 해석해야 한다. ESXi 명령으로 SMART와 NVMe log를 확인하고, 실제 물리 디스크와 영향을 받는 datastore를 매핑한 뒤 백업, 마이그레이션, 교체 순서로 조치하는 것이 안전하다.

문서 링크

• Broadcom KB: ESXi S.M.A.R.T. health monitoring
• Broadcom TechDocs: Retrieving SMART Information
• smartmontools project