⚫
vCenterが疲労困憊になったらしい【Log Disk Exhaustion on】
はじめに
vCenterで『Log Disk Exhaustion on』のアラームが発生したので、原因と対応を調べました。
exhaustionって疲労困憊という意味なんですね。
調査(ググる)
調べたら、一発で出てきました。
ディスクの容量が不足しているようです。原因
- 適切なパーティションサイズではない。
- パーティション内に大きなファイルが存在する
- DB 内のテーブルが容量を使用している
- サービスがファイルのクリーンアップに失敗している
ですので、以下のコマンドで容量が逼迫している部分を確認します。
# df -h
Filesystem Size Used Avail Use%
/dev/mapper/log_vg-log 9.8G 9.8G 0 100% /storage/log
# #必要な部分だけ抜き出しております。
Useが100%になっていました。
/storage/log
でしたので先ほどのbroadcomのサイトに従って対応します。
Filesystem | Mounted on | Resolution |
---|---|---|
/dev/sda3 | "/" |
/dev/sda3 - root partition 100% full due to Audit.log files not being rotated in vCenter Server Appliance Root Partition full due to dnsmasq.log files in vCenter Server Appliance or Platform Service Controller |
/dev/mapper/log_vg-log | /storage/log | Troubleshooting vCenter Appliance /storage/log directory is 80% or more full |
/dev/mapper/core_vg-core | /storage/core | /storage/core partition full due to core.netlogond.xxxxx files in vCenter Server Appliance |
/dev/mapper/db_vg-db | /storage/db | VCSA database storage "/storage/db" is full or nearly full |
/dev/mapper/seat_vg-seat | /storage/seat | /storage/seat disk 100% full on vCenter Server Appliance 6.x/7.x |
/dev/mapper/archive_vg-archive | /storage/archive | Note: This partition being full is normal and expected in vCenter versions 6.7 and above File system /storage/archive is low on storage space" warning in vCenter Server Appliance 6.7/7.x |
原因
ログローテーションが正常に実行されていないようです。
以下のように設定項目が間違っていてそれを編集することで修正することが可能です。
- 想定されているパス :/var/log/vmware/vmafdd/vmafdd.log
- 現在のパス:/var/log/vmware/vmafd/vmafdd.log
以下から確認することも可能です。
# cat /etc/logrotate.d/vmware-vmafd.lr
/var/log/vmware/vmafdd/vmafdd.log <<< Here's where the log file is expected.
{
size 10M
nodateext
rotate 10
missingok
notifempty
compress
create 644 root root
postrotate
/usr/sbin/killproc -L -HUP /usr/lib/vmware-vmafd/sbin/vmafdd
endscript
}
実施した対応
以下のコマンドから、レジストリの内容が ログローテーション設定にて想定されているパスと同じになるよう更新します:
# /opt/likewise/bin/lwregshell set_value "[HKEY_THIS_MACHINE\Services\vmafd\Parameters]" "LogFile" "/var/log/vmware/vmafdd/vmafdd.log"
全てのサービスを再起動します:
# service-control --stop --all && service-control --start --all
/storage/log 領域のディスク使用率を改善するために、以下のパスにあるログを /storage/log 領域から移動するか、削除します。
# rm /storage/log/vmware/vmafd/vmafdd.log
参考
Discussion