Glasfaser: Das private Netzwerk auf 10 Gigabit pro Sekunde upgraden
Dieser Text ist eine Übersetzung. Das Original ist im Blog von Michael Stapelberg(öffnet im neuen Fenster) zu finden.
Bis vor einiger Zeit hatte ich ein Ethernet-Kabel, das meine Küche mit dem Rest meines Netzwerks verband, welches sich größtenteils im Wohnzimmer und im Büro befindet. Es war ein Experiment, um zu überprüfen, ob der Betrieb eines oder zweier Server in meiner Küche tatsächlich funktioniert (und das tut er!).
Ich mochte die Einfachheit und Einheitlichkeit dieser Vernetzung, beschloss aber doch, mindestens eine Glasfaserverbindung für mein privates Netzwerk hinzuzufügen(öffnet im neuen Fenster) . Die Glasfaserverbindung wird mit zwei Medienkonvertern vom/zum Ethernet hergestellt. Jetzt nehme ich ein Upgrade dieser Verbindung von 1 auf 10 Gigabit pro Sekunde vor.
Schematisch sieht der Anschlussplan wie folgt aus:
Alle Verbindungen nutzen 1 Gigabit pro Sekunde. So lässt sich leicht erkennen, dass beispielsweise für die Übertragungen zwischen chuchi ↔ router7 und storage2 ↔ midna nicht gleichzeitig 1 Gigabit pro Sekunde genutzt werden kann.
Das aktuelle Upgrade soll Folgendes bewirken:
1. Als Grundlage durchgängig 1 Gigabit pro Sekunde: Es soll sichergestellt werden, dass sich der Betrieb meines Server-PCs, der beispielsweise die Installationsdateien und Pakete aus meinem Distri-Linux-Projekt zur Verfügung stellt, nicht mehr auf andere Transfers in meinem Heimnetz auswirken und von diesen auch nicht beeinträchtigt werden kann; zum Beispiel, wenn die Glasfaserverbindung in meinem privaten Netzwerk durch die täglichen Backups ausgelastet wird.
2. In Spitzen 10 Gigabit pro Sekunde: Ich möchte die Möglichkeit haben, Linux-PCs auf beiden Seiten der Verbindung auf eine Spitzenbandbreite von 10 Gigabit pro Sekunde zu erweitern.
Dabei ist zu beachten, dass der Uplink ins Internet weiterhin bei 1 Gigabit pro Sekunde bleibt. Nur Übertragungen innerhalb des privaten Netzwerks können mit 10 Gigabit pro Sekunde durchgeführt werden.
Ersetzen der Medienkonverter durch Mikrotik-Switches
Zuerst ersetze ich die beiden Medienkonverter und Switches durch je einen Mikrotik CRS305-1G-4S+IN(öffnet im neuen Fenster) .
Dieses Gerät(öffnet im neuen Fenster) ist mit fünf Anschlüssen ausgestattet:
- 1 × RJ45-Ethernet-Anschluss für die Verwaltung, kann als regulärer Anschluss mit 1 Gigabit pro Sekunde genutzt werden.
- 4 × SFP+-Anschlüsse
Jeder SFP+-Anschluss kann entweder mit einem RJ-45-Ethernet-Anschluss oder einem Glasfaser-SFP+-Modul verwendet werden. Warnhinweis: Wie Nexus2kSwiss auf Twitter verlautbart hat(öffnet im neuen Fenster) , unterstützt dieses Mikrotik-Gerät maximal 2 RJ-45 SFPs gleichzeitig!
Upgrade der Glasfasermodule
Für die Glasfaserverbindung zwischen Küche und Wohnzimmer verwende ich SFP+-Glasfasermodule mit 10 Gigabit pro Sekunde. Alle Geräte, die eine garantierte durchgängige Verbindung mit 1 Gigabit pro Sekunde benötigen, müssen direkt an einen Mikrotik-Switch angeschlossen werden.
Nach Möglichkeit verbinde ich die PCs über Direct-Attach-Kabel (DAC). Der Vorteil von DAC-Kabeln gegenüber RJ45-SFP+-Modulen liegt in einem geringeren Stromverbrauch und weniger Hitzeentwicklung.
Daraus ergibt sich folgende Liste von SFP-Modulen, die in den beiden Mikrotik-Switches zum Einsatz kommen:
| MikroTik 1 SFP | Geschwindigkeit | Geschwindigkeit | MikroTik 2 SFP | |
|---|---|---|---|---|
| chuchi | 10 Gigabit pro Sekunde DAC | 10 Gigabit pro Sekunde DAC | midna | |
| storage2 | 1 Gigabit pro Sekunde RJ45 | 1 Gigabit pro Sekunde RJ45 | router7 | |
| 10 Gigabit pro Sekunde BiDi | - BiDi-Glasfaserverbindung -> | 10 Gigabit pro Sekunde BiDi |
Beschaffung der Hardware
Die Gesamtkosten für dieses Upgrade belaufen sich auf 700 bis 900 Euro (Stand: Mitte August), wovon der größte Anteil auf die Mellanox-ConnectX-3-Netzwerkkarten und die Mikrotik-Switches entfällt.
Bestellung bei FS (Fiber Store)
FS.com(öffnet im neuen Fenster) war meine Bezugsquelle für sämtliche Hardware im Glasfaserbereich. Alle dort verfügbaren Produkte sind recht preisgünstig und die Produkte, die im deutschen Lager vorrätig sind, kamen (zumindest zum Zeitpunkt meiner Bestellung im Juni) noch in derselben Woche in der Schweiz an.
| Anzahl | Preis | Bezeichnung |
|---|---|---|
| 1x | rund 48 Euro (Stand: Mitte August 2022) | Generisch kompatibel 10GBASE-BX BiDi SFP+ 1270nm-TX/1330nm-RX 10km DOM Transceiver Modul, FS P/N: SFP-10G-BX #74681 |
| 1x | rund 48 Euro (Stand: Mitte August 2022) | Generisch kompatibel 10GBASE-BX BiDi SFP+ 1330nm-TX/1270nm-RX 10km DOM Transceiver Modul, FS P/N: SFP-10G-BX #74682 |
| 2x | rund 20 Euro (Stand: Mitte August 2022) | Generisch kompatibles 10G SFP+ passives Twinax Kupfer Direct Attach-Kabel (DAC), 3m |
Bestellung bei Digitec
Ein paar Dinge hat FS.com nicht auf Lager. Die habe ich bei Digitec(öffnet im neuen Fenster) , einem großen und beliebten Elektronikladen in der Schweiz, gekauft. Höchstwahrscheinlich sind die Produkte, die es bei Digitec gibt, auch in jedem anderen großen Elektronikfachgeschäft erhältlich.
| Anzahl | Preis | Bezeichnung |
|---|---|---|
| 2x | 175 CHF (rund 180 Euro; Stand Mitte August 2022/in anderen Shops mitunter auch schon ab 150 Euro) | MikroTik CRS305-1G-4S+IN-Switch |
Weitere Bestellungen
Die Mellanox-Karten sind nicht so leicht zu bekommen, wie ich es mir eigentlich wünsche. Ich warte gerade noch auf eine Karte von FS.com, die vielleicht die bessere Wahl ist.
| Anzahl | Preis | Bezeichnung |
|---|---|---|
| 2x | zwischen 150 und 200 Euro (Stand: Mitte August 2022) | Mellanox ConnectX-3 MCX311A-XCAT |
Setup der Mikrotik-Switches
Ich möchte meine Switches als reine Switches nutzen, ohne jegliches Routing oder andere Layer-3-Funktionen, welche eventuell die Bandbreite reduzieren könnten. Deshalb führe ich als erstes ein Reboot des Mikrotik CRS305-1G-4S+(öffnet im neuen Fenster) auf SwOS durch:
1. Im Menü der Weboberfläche navigiere ich zu System → Routerboard → Settings, öffne das Dropdown-Menü Boot OS und wähle die Option SwOS aus.
2. Dann navigiere ich im Menü der Weboberfläche zu System → Reboot.
3. Nach dem Reboot des Gerätes ändere ich den Hostnamen, der auf Mikrotik zurückgesetzt wurde.
Anschließend führe ich ein Upgrade der Firmware auf 2.12 durch, um ein merkwürdiges Problem mit bestimmten Kombinationen aus SFP-Modulen zu beheben (SFP-10G-BX in SFP1, SFP-10G-T in SFP2): Auf der Weboberfläche von SwOS wähle ich die Registerkarte Upgrade aus und klicke auf Download & Upgrade.
Setup der Netzwerkkarte (Linux)
Nach dem Booten mit der Mellanox ConnectX-3 in einem PCIe-Slot sollte die Karte unter dmesg(8)(öffnet im neuen Fenster) angezeigt werden:
mlx4_core: Mellanox ConnectX core driver v4.0-0 mlx4_core: Initializing 0000:03:00.0 mlx4_core 0000:03:00.0: DMFS high rate steer mode is: disabled performance optimized steering mlx4_core 0000:03:00.0: 31.504 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x4 link) mlx4_en: Mellanox ConnectX HCA Ethernet driver v4.0-0 mlx4_en 0000:03:00.0: Activating port:1 mlx4_en: 0000:03:00.0: Port 1: Using 16 TX rings mlx4_en: 0000:03:00.0: Port 1: Using 16 RX rings mlx4_en: 0000:03:00.0: Port 1: Initializing port mlx4_en 0000:03:00.0: registered PHC clock mlx4_core 0000:03:00.0 enp3s0: renamed from eth0 ᐸmlx4_ibᐳ mlx4_ib_add: mlx4_ib: Mellanox ConnectX InfiniBand driver v4.0-0 ᐸmlx4_ibᐳ mlx4_ib_add: counter index 1 for port 1 allocated 1 mlx4_en: enp3s0: Steering Mode 1 mlx4_en: enp3s0: Link Up
Es gibt noch eine andere Möglichkeit, um auf dem PCIe-Bus des Computers zu überprüfen, ob das Gerät mit Höchstgeschwindigkeit läuft: Man stellt sicher, dass LnkSta mit LnkCap in der Ausgabe lspci(8)(öffnet im neuen Fenster) übereinstimmt:
% sudo lspci -vv
03:00.0 Ethernet controller: Mellanox Technologies MT27500 Family [ConnectX-3]
Subsystem: Mellanox Technologies Device 0055
[...]
Capabilities: [60] Express (v2) Endpoint, MSI 00
[...]
LnkCap: Port #8, Speed 8GT/s, Width x4, ASPM L0s, Exit Latency L0s unlimited
ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
LnkSta: Speed 8GT/s (ok), Width x4 (ok)
TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
[...]
Alternativ kann mit ethtool(8)(öffnet im neuen Fenster) überprüft werden, ob die Netzwerkverbindung mit 10 Gigabit pro Sekunde ausgeführt wird:
% sudo ethtool enp3s0
Settings for enp3s0:
Supported ports: [ FIBRE ]
Supported link modes: 1000baseKX/Full
10000baseKR/Full
Supported pause frame use: Symmetric Receive-only
Supports auto-negotiation: No
Supported FEC modes: Not reported
Advertised link modes: 1000baseKX/Full
10000baseKR/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: No
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Auto-negotiation: off
Port: Direct Attach Copper
PHYAD: 0
Transceiver: internal
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000014 (20)
link ifdown
Link detected: yes
Benchmarks für Batch-Übertragungen
Wie bereits in der Einführung erwähnt, wird das Routing mit 10 Gigabit pro Sekunde (also viele kleine Pakete statt weniger großer Pakete) in diesem Artikel nicht behandelt. Interessante Informationen zur Routing-Leistung sind in Andree Toonks Post(öffnet im neuen Fenster) zu finden, in dem bestätigt wird, dass unter Linux ein Routing mit 10 Gigabit pro Sekunde möglich ist.
In den folgenden Abschnitten werden einzelne Batch-Übertragungen großer Dateien, nicht viele kleine Übertragungen behandelt.
Geschwindigkeitstest für iperf3
Standardmäßig sind die Geschwindigkeiten, die mit iperf3(1)(öffnet im neuen Fenster) gemessen werden, ganz ordentlich:
chuchi % iperf3 --version iperf 3.6 (cJSON 1.5.2) Linux chuchi 4.19.0-16-amd64 #1 SMP Debian 4.19.181-1 (2021-03-19) x86_64 Optional features available: CPU affinity setting, IPv6 flow label, SCTP, TCP congestion algorithm setting, sendfile / zerocopy, socket pacing, authentication chuchi % iperf3 --server [...] midna % iperf3 --version iperf 3.9 (cJSON 1.7.13) Linux midna 5.12.1-arch1-1 #1 SMP PREEMPT Sun, 02 May 2021 12:43:58 +0000 x86_64 Optional features available: CPU affinity setting, IPv6 flow label, TCP congestion algorithm setting, sendfile / zerocopy, socket pacing, authentication midna % iperf3 --client chuchi.lan Connecting to host 10.0.0.173, port 5201 [ 5] local 10.0.0.76 port 43168 connected to 10.0.0.173 port 5201 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 1.10 GBytes 9.42 Gbits/sec 0 1.62 MBytes [ 5] 1.00-2.00 sec 1.09 GBytes 9.41 Gbits/sec 0 1.70 MBytes [ 5] 2.00-3.00 sec 1.10 GBytes 9.41 Gbits/sec 0 1.70 MBytes [ 5] 3.00-4.00 sec 1.09 GBytes 9.41 Gbits/sec 0 1.78 MBytes [ 5] 4.00-5.00 sec 1.09 GBytes 9.41 Gbits/sec 0 1.87 MBytes [ 5] 5.00-6.00 sec 1.10 GBytes 9.42 Gbits/sec 0 1.87 MBytes [ 5] 6.00-7.00 sec 1.10 GBytes 9.42 Gbits/sec 0 1.87 MBytes [ 5] 7.00-8.00 sec 1.10 GBytes 9.41 Gbits/sec 0 1.87 MBytes [ 5] 8.00-9.00 sec 1.09 GBytes 9.41 Gbits/sec 0 1.96 MBytes [ 5] 9.00-10.00 sec 1.09 GBytes 9.38 Gbits/sec 402 1.52 MBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 11.0 GBytes 9.41 Gbits/sec 402 sender [ 5] 0.00-10.00 sec 11.0 GBytes 9.40 Gbits/sec receiver iperf Done.
HTTP-Geschwindigkeitstest
Der Download einer Datei von einem nginx(1)(öffnet im neuen Fenster) -Webserver über curl(1)(öffnet im neuen Fenster) ist ebenfalls schnell:
% curl -o /dev/null http://chuchi.lan/distri/supersilverhaze/img/distri-disk.img.zst
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 934M 100 934M 0 0 1118M 0 --:--:-- --:--:-- --:--:-- 1117M
Hierbei ist zu beachten, dass dieser Download aus dem RAM (Linux-Dateicache) erfolgt. Das nächste Upgrade, das ich für diesen Computer vornehmen muss, ist der Austausch der SATA SSD mit einer NVMe SSD, da die Festplatte jetzt den Engpass bildet.
Fazit
Dieses Upgrade war erfreulich einfach: ein bisschen neue Hardware anschließen und schon werden Batch-Übertragungen schneller. Der Mikrotik-Switch hat ein hervorragendes Preis-Leistungs-Verhältnis und die Mellanox-ConnectX-3-Karten funktionieren gut, vorausgesetzt, sie sind zu bekommen.
Anhang A: Umstieg von RJ45-SFP+-Modulen auf Direct-Attach-Kabel
Ursprünglich hatte ich alle PCs aus den folgenden Gründen über RJ45 SFP+-Module an die Mikrotik-Switches angeschlossen:
1. Meine erste Wahl waren Intel-X550-T2-PCIe-Netzwerkkarten (öffnet im neuen Fenster) mit 10 Gigabit pro Sekunde für RJ45.
2. Die SFP+-Module sind abwärtskompatibel und können auch mit RJ45-Geräten mit 1 Gigabit pro Sekunde genutzt werden. So ist ein bequemes schrittweises Upgrade möglich.
Später habe ich festgestellt, dass die RJ45-SFP+-Module deutlich mehr Strom verbrauchen und auch deutlich wärmer werden als Direct-Attach-Kabel (DAC). Ich habe sogar nachgemessen: Jedes RJ45-SFP+-Modul sorgte dafür, dass mein BiDi-SFP+-Modul 5° C wärmer wurde!
Ich habe ein RJ45-SFP+-Modul durch ein Direct-Attach-Kabel ersetzt. Kurze Zeit später ersetzte ich dann auch das andere RJ45-SFP+-Modul durch ein Direct-Attach-Kabel. Hier wird deutlich sichtbar, dass die Temperatur des BiDi-SFP+-Moduls um 10° C gefallen ist.
Der Mikrotik-Switch ist immer noch ziemlich heiß, was die Arbeit bei eingeschaltetem Switch schwierig macht.
Anhang B: Setup der Netzwerkkarte (Linux) mit Intel X550-T2
Zu Referenzzwecken findet sich hier das Setup für die Netzwerkkarte (Linux) mit der zuvor verwendeten Intel X550-T2. Nach dem Booten mit der Intel X550-T2 in einem PCIe-Slot sollte die Karte unter dmesg(8)(öffnet im neuen Fenster) angezeigt werden:
ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver ixgbe 0000:03:00.0: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0 ixgbe 0000:03:00.0: 31.504 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x4 link) ixgbe 0000:03:00.0: MAC: 4, PHY: 0, PBA No: H86377-006 ixgbe 0000:03:00.0: Intel(R) 10 Gigabit Network Connection libphy: ixgbe-mdio: probed ixgbe 0000:03:00.1: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0 ixgbe 0000:03:00.1: 31.504 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x4 link) ixgbe 0000:03:00.1: MAC: 4, PHY: 0, PBA No: H86377-006 tun: Universal TUN/TAP device driver, 1.6 ixgbe 0000:03:00.1: Intel(R) 10 Gigabit Network Connection libphy: ixgbe-mdio: probed ixgbe 0000:03:00.0 enp3s0f0: renamed from eth0 ixgbe 0000:03:00.1 enp3s0f1: renamed from eth1 pps pps0: new PPS source ptp1 ixgbe 0000:03:00.0: registered PHC device on enp3s0f0 pps pps1: new PPS source ptp2 ixgbe 0000:03:00.1: registered PHC device on enp3s0f1
Wenn nur einer der beiden Netzwerkanschlüsse der Karte genutzt wird, tritt wahrscheinlich selbst dann kein Engpass auf, wenn die Karte nur mit doppelter PCIe-3.0-Verbindungsgeschwindigkeit(öffnet im neuen Fenster) ausgeführt wird. Das habe ich allerdings nicht überprüft.
Eine andere Möglichkeit, um auf dem PCIe-Bus des Computers zu überprüfen, ob das Gerät mit Höchstgeschwindigkeit läuft, besteht darin, sicherzustellen, dass LnkSta mit LnkCap in der Ausgabe lspci(8)(öffnet im neuen Fenster) übereinstimmt:
% sudo lspci -vv
[...]
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller 10G X550T (rev 01)
Subsystem: Intel Corporation Ethernet Converged Network Adapter X550-T2
[...]
Capabilities: [a0] Express (v2) Endpoint, MSI 00
[...]
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s ᐸ2us, L1 ᐸ16us
ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
LnkSta: Speed 8GT/s (ok), Width x4 (ok)
TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
[...]
Alternativ kann mit ethtool(8)(öffnet im neuen Fenster) überprüft werden, ob die Netzwerkverbindung mit 10 Gigabit pro Sekunde ausgeführt wird:
% sudo ethtool enp3s0f1
Settings for enp3s0f1:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
2500baseT/Full
5000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Auto-negotiation: on
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
MDI-X: Unknown
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
Anhang C: BIOS-Update für Mellanox ConnectX-3
Auf meinem Mainboard Supermicro X11SSZ-QF konnte die Mellanox ConnectX-3 keine Verbindung herstellen. Der Treiber für den Linux-Kernel der Mellanox hat mehrere Fehler verzeichnet:
kernel: mlx4_en: enp1s0: CQE error - cqn 0x8e, ci 0x0, vendor syndrome: 0x57 syndrome: 0x4 kernel: mlx4_en: enp1s0: Related WQE - qpn 0x20d, wqe index 0x0, wqe size 0x40 kernel: mlx4_en: enp1s0: Scheduling port restart kernel: mlx4_core 0000:01:00.0: Internal error detected: kernel: mlx4_core 0000:01:00.0: device is going to be reset kernel: mlx4_core 0000:01:00.0: crdump: devlink snapshot disabled, skipping kernel: mlx4_core 0000:01:00.0: device was reset successfully kernel: mlx4_en 0000:01:00.0: Internal error detected, restarting device kernel: ᐸmlx4_ibᐳ mlx4_ib_handle_catas_error: mlx4_ib_handle_catas_error was started kernel: ᐸmlx4_ibᐳ mlx4_ib_handle_catas_error: mlx4_ib_handle_catas_error ended kernel: mlx4_core 0000:01:00.0: command 0x21 failed: fw status = 0x1 kernel: pcieport 0000:00:1c.0: AER: Uncorrected (Fatal) error received: 0000:00:1c.0 kernel: pcieport 0000:00:1c.0: PCIe Bus Error: severity=Uncorrected (Fatal), type=Transaction Layer, (Receiver ID) kernel: mlx4_core 0000:01:00.0: command 0x43 failed: fw status = 0x1 kernel: infiniband mlx4_0: ib_query_port failed (-5) kernel: pcieport 0000:00:1c.0: device [8086:a110] error status/mask=00040000/00010000 kernel: pcieport 0000:00:1c.0: [18] MalfTLP (First) kernel: pcieport 0000:00:1c.0: AER: TLP Header: 4a000001 01000004 00000000 00000000 kernel: mlx4_core 0000:01:00.0: mlx4_pci_err_detected was called kernel: mlx4_core 0000:01:00.0: Fail to set mac in port 1 during unregister systemd-networkd[313]: enp1s0: Link DOWN kernel: mlx4_en: enp1s0: Failed activating Rx CQ kernel: mlx4_en: enp1s0: Failed restarting port 1 kernel: mlx4_en: enp1s0: Link Down kernel: mlx4_en: enp1s0: Close port called systemd-networkd[313]: enp1s0: Lost carrier kernel: mlx4_en 0000:01:00.0: removed PHC kernel: mlx4_core 0000:01:00.0: mlx4_restart_one_up: ERROR: mlx4_load_one failed, pci_name=0000:01:00.0, err=-5 kernel: mlx4_core 0000:01:00.0: mlx4_restart_one was ended, ret=-5 systemd-networkd[313]: enp1s0: DHCPv6 lease lost kernel: pcieport 0000:00:1c.0: AER: Root Port link has been reset kernel: mlx4_core 0000:01:00.0: mlx4_pci_resume was called kernel: mlx4_core 0000:01:00.0: Multiple PFs not yet supported - Skipping PF kernel: mlx4_core 0000:01:00.0: mlx4_pci_resume: mlx4_load_one failed, err=-22 kernel: pcieport 0000:00:1c.0: AER: device recovery successful
Geholfen hat die Aktualisierung des X11SSZ-QF BIOS auf die neueste Version.