vCSA の /storage/log の容量対処の際、dfコマンドと duコマンドの結果に差分があったため、調べてみました。
Contents
事象
vCSA の /storage/log の使用量をdfで見ると、24G使用しているが、duで見ると、3.5Gしか使用していないように見え、差分がありました。
なお、純粋に、/storage/logの容量が枯渇しているケースでは、下記のKBにて対処を実施します。
・VCSA の /storage/log パーティションの領域を空ける方法 (83070)
https://kb.vmware.com/s/article/83070?lang=ja
コマンド結果抜粋
1. df結果
root@test-vc [ ~ ]# df -h |grep /storage/log
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/log_vg-log 25G 24G 0 100% /storage/log
2. du結果
root@test-vc [ ~ ]# du -h -d1 /storage/log / 2>/dev/null
3.5G /storage/log/vmware
16K /storage/log/lost+found
4.0K /storage/log/remote
3.5G /storage/log
原因
なんらかのプロセスが削除済みのファイルを掴んでいました。Linuxで起きうる事象のようです。
https://qiita.com/kotaaaa/items/37f5aaf1fe1ba20ed880
vCSAは、Photon OSと呼ばれる、LinuxベースのOSで構成されています。
https://vmware.github.io/photon/
ちなみに、vCSA6.5, 6.7では、Photon OS 1.0、vCSA7.0, 8.0 ではPhoton OS 3.0となっています。
https://docs.vmware.com/jp/VMware-vSphere/8.0/vsphere-vcenter-installation/GUID-022D8664-FD06-4FC1-88B7-D076B9D5DEE9.html
掴んでいるファイルは、lsofコマンドで確認可能です。
root@test-vc [ ~ ]# lsof /storage/log | sort --numeric-sort -k7,7 -r
vsphere-u 45944 vsphere-ui 171w REG 254,4 51302573 131461 /storage/log/vmware/vsphere-ui/logs/vsphere_client_virgo.log
vmware-st 23728 sts 285w REG 254,4 44941325 132482 /storage/log/vmware/sso/vmware-identity-sts.log
vsphere-u 45944 vsphere-ui 172w REG 254,4 43873799 132698 /storage/log/vmware/vsphere-ui/logs/threadmonitor.log
vmware-st 23728 sts 277w REG 254,4 40823497 133136 /storage/log/vmware/sso/vmware-identity-sts-perf.log
vmware-vp 25212 vpxd-svcs 197w REG 254,4 37691180 132991 /storage/log/vmware/vpxd-svcs/perf.log
java 47055 idmservice 285w REG 254,4 36403386 133104 /opt/vmware/idm/logs/federation-vertx-access.log
vmware-st 23728 sts 291w REG 254,4 35911300 132931 /storage/log/vmware/sso/vmware-identity-sts-default.log
java 47050 idmservice 278w REG 254,4 34873134 134152 /opt/vmware/idm/logs/accesscontrol-perf.log
vmware-ea 27954 eam 110w REG 254,4 33230341 132212 /storage/log/vmware/eam/eam.log
対処法
vCSAの再起動で改善しました。
OSの再起動によりプロセスが再起動され、掴んでいるファイルが解放されるためと考えられます。
なお、Linuxの場合であれば、掴んでいるプロセスを特定し、該当プロセスのみkillすることもできますが、そのような対処法は、VMware KBにはなかったため、vCSAの再起動の再起動を実施するのが適切と考えています。