A szokásos délelőtti szerversimogatás során azt vettem észre, hogy a szerver lassabban reagál, a válaszidők is lassultak a netdiag szerint:

A Munin grafikonok ugyanezt támasztották alá, a ZFS cache intenzív használata látszott, illetve a bpool írás/olvasás sávszélessége is megugrott, az ehhez pedig CPU ugrások is társultak:


A jelenség oka leszűkült a bpool ZFS pool problémájára, a `zpool status` nem mutatott rendellenességet, a `zfs list` viszont igen:

[root@freebsd:/dpool/jails/v8.1.0/logserver/data/192.168.2.6-2010-12]$ zfs list
NAME                                USED  AVAIL  REFER  MOUNTPOINT             
bpool                              7,61G   203M    22K  /bpool                 
bpool/jails                        4,93G   203M    22K  /bpool/jails           
bpool/jails/data                   3,11G   203M    22K  /bpool/jails/data      
bpool/jails/data/dns               41,5K   203M  41,5K  /bpool/jails/v7.1.0/dns/var/named/etc/namedb
bpool/jails/data/httpd              519M   203M   519M  /bpool/jails/v7.1.0/httpd/data/             
bpool/jails/data/mailman            231M   203M   231M  /bpool/jails/v7.1.0/mailman/data/           
bpool/jails/data/mailscanner       2,17G   203M  2,17G  /bpool/jails/v7.1.0/mailscanner/data/
\[...\]

Fogytán a hely, ami a ZFS pool halála tud lenni, a Copy-on-Write miatt hülyére dolgozza magát, amikor írás történik, hiszen a módosított adatoknak helyet kell keresnie. A 2,17G méretű mailscanner adatmennyiség soknak tűnt, elkezdtem keresni az okát a méretnövekedésnek:

total 2207915                                                                   
-rw-------  1 110  110   5,0M dec  8 10:28 auto-whitelist                       
-rw-------  1 110  110    74B dec  8 10:43 bayes.lock                           
-rw-------  1 110  110    77K dec  8 10:28 bayes_journal                        
-rw-------  1 110  110    10M dec  8 10:43 bayes_seen                           
-rw-------  1 110  110   5,3M dec  8 10:43 bayes_toks                           
-rw-------  1 110  110   128T dec  8 08:50 bayes_toks.expire20494               
-rw-------  1 110  110   128T dec  8 07:34 bayes_toks.expire28650               
-rw-------  1 110  110   128T dec  8 07:57 bayes_toks.expire35681               
-rw-------  1 110  110   128T dec  8 07:13 bayes_toks.expire50364               
-rw-------  1 110  110   2,0T dec  8 10:43 bayes_toks.expire59908

Igen, jól látod: 128TBájt méretű fájlok, és éppen egy 2T méretű fájl keletkezik, mintha megőrült volna a SpamAssassin. De hogy keletkezhet ekkora fájl egy összesen 8G méretű pool-ban? Tömörített fájlrendszer:

bpool/jails/data/mailscanner  compression           gzip-9                                 local

Leállítottam az adott jail-t, kitöröltem a felesleges fájlokat, majd elindítottam a jail-t, egyelőre megjavult, a hiba okát még nem találtam meg.