Schnell kann es passieren, dass einem in seinem ZFS Pool eine Platte fehlt.
Mir ist dies passiert, nach einer Wartung des Servers.

Aufgefallen ist mir dies im laufenden Betrieb, da eine FestplattenLED am Wechselrahmen nicht leuchtete

ZFS hat entsprechend auch ein degradeden Pool angezeigt:

zpool list
NAME         SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
backupraid  3.62T  1.25T  2.37T        -         -     2%    34%  1.00x  DEGRADED  -@

Die Platte war nicht komplett im Wechselrahmen reingesteckt und konnte daher nicht gefunden werden.
Nachdem ich das behoben hatte wurde wurde die Festplatte leider nicht direkt wieder in den Pool genommen und der Pool war weiterhin degraded.

Eventuell hätte ein Neustart geholfen, diesen wollte ich wegen der entstehenden Downtime nicht.

zpool status backupraid
  pool: backupraid
 state: DEGRADED
status: One or more devices could not be used because the label is missing or
        invalid.  Sufficient replicas exist for the pool to continue
        functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: scrub repaired 0B in 0 days 02:11:14 with 0 errors on Sun Jun  9 02:35:15 2019
config:
        NAME                                          STATE     READ WRITE CKSUM
        backupraid                                    DEGRADED     0     0     0
          raidz1-0                                    DEGRADED     0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>  ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>  ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>  ONLINE       0     0     0
            1540198356334062733                       UNAVAIL      0     0     0  was /dev/disk/by-id/ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>-part1

Die 1540198356334062733entspricht der Subvolume UUID der Festplatte.

blkid
/dev/sdg1: LABEL="backupraid" UUID="16617265178843692620" UUID_SUB="1540198356334062733" TYPE="zfs_member" PARTLABEL="zfs-8299bc643b7d6bef" PARTUUID="e9b688db-e9b6-2148-84f1-1147b081840c"

Netterweise hat mein System erkannt, dass es bereits eine Festplatte mit der Subvolume 1540198356334062733 gibt und hat mir diese auch schon als „Vorschlag“ präsentiert.
1540198356334062733 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>-part1

Entsprechend musste ich nur noch die Festplatte wieder online bringen:
zpool online backupraid /dev/disk/by-id/ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>-part1

Danach wurde die Festplatte wieder eingebunden und die Wiederherstellung des Pools fing an:

zpool status
  pool: backupraid
 state: ONLINE
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Wed May 20 14:30:46 2020
        965M scanned at 80.4M/s, 314M issued at 26.2M/s, 1.25T total
        56.7M resilvered, 0.02% done, 0 days 13:57:57 to go
config:
        NAME                                          STATE     READ WRITE CKSUM
        backupraid                                    ONLINE       0     0     0
          raidz1-0                                    ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>  ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>  ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>  ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-<Seriennummer>  ONLINE       0     0     0  (resilvering)

Als die Wiederherstellung fertig war, wurde der Pool auch wieder ohne Fehler angezeigt:

zpool status backupraid
  pool: backupraid
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
        still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
        the pool may no longer be accessible by software that does not support
        the features. See zpool-features(5) for details.
  scan: resilvered 483M in 0 days 00:00:41 with 0 errors on Wed May 20 14:31:27 2020
config:
        NAME                                          STATE     READ WRITE CKSUM
        backupraid                                    ONLINE       0     0     0
          raidz1-0                                    ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-WX61A24E8977  ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-WX61A24F0544  ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-WX61A24F2411  ONLINE       0     0     0
            ata-WDC_WD10JFCX-68N6GN0_WD-WX61A24F2446  ONLINE       0     0     0

zpool list
NAME         SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
backupraid  3.62T  1.25T  2.37T        -         -     2%    34%  1.00x    ONLINE  -