Fazit

Dieses Upgrade war erfreulich einfach: ein bisschen neue Hardware anschließen und schon werden Batch-Übertragungen schneller. Der Mikrotik-Switch hat ein hervorragendes Preis-Leistungs-Verhältnis und die Mellanox-ConnectX-3-Karten funktionieren gut, vorausgesetzt, sie sind zu bekommen.

Anhang A: Umstieg von RJ45-SFP+-Modulen auf Direct-Attach-Kabel

Stellenmarkt
  1. IT Service Desk Agent*in/IT-First-Level-Supp- orter*in
    Fraunhofer-Institut für Windenergiesysteme IWES, Bremerhaven
  2. IT & Technik
    Bezirkskliniken Schwaben, alle Standorte
Detailsuche

Ursprünglich hatte ich alle PCs aus den folgenden Gründen über RJ45 SFP+-Module an die Mikrotik-Switches angeschlossen:

1. Meine erste Wahl waren Intel-X550-T2-PCIe-Netzwerkkarten mit 10 Gigabit pro Sekunde für RJ45.

2. Die SFP+-Module sind abwärtskompatibel und können auch mit RJ45-Geräten mit 1 Gigabit pro Sekunde genutzt werden. So ist ein bequemes schrittweises Upgrade möglich.

Golem Karrierewelt
  1. Container Technologie: Docker und Kubernetes - Theorie und Praxis: virtueller Drei-Tage-Workshop
    14.-16.12.2022, virtuell
  2. C++ Programmierung Grundlagen (keine Vorkenntnisse benötigt): virtueller Drei-Tage-Workshop
    07.-09.11.2022, virtuell
Weitere IT-Trainings

Später habe ich festgestellt, dass die RJ45-SFP+-Module deutlich mehr Strom verbrauchen und auch deutlich wärmer werden als Direct-Attach-Kabel (DAC). Ich habe sogar nachgemessen: Jedes RJ45-SFP+-Modul sorgte dafür, dass mein BiDi-SFP+-Modul 5° C wärmer wurde!

  • So sah die Verbindung bislang aus. (Bild: Michael Stapelberg)
  • Anschlussplan, schematisch (Bild: Michael Stapelberg)
  • Der Mikrotik CRS305-1G-4S+IN (Bild: Michael Stapelberg)
  • Modultemperatur (Bild: Michael Stapelberg)
Modultemperatur (Bild: Michael Stapelberg)

Ich habe ein RJ45-SFP+-Modul durch ein Direct-Attach-Kabel ersetzt. Kurze Zeit später ersetzte ich dann auch das andere RJ45-SFP+-Modul durch ein Direct-Attach-Kabel. Hier wird deutlich sichtbar, dass die Temperatur des BiDi-SFP+-Moduls um 10° C gefallen ist.

Der Mikrotik-Switch ist immer noch ziemlich heiß, was die Arbeit bei eingeschaltetem Switch schwierig macht.

MikroTik CRS305-1G-4S+IN

Anhang B: Setup der Netzwerkkarte (Linux) mit Intel X550-T2

Zu Referenzzwecken findet sich hier das Setup für die Netzwerkkarte (Linux) mit der zuvor verwendeten Intel X550-T2. Nach dem Booten mit der Intel X550-T2 in einem PCIe-Slot sollte die Karte unter dmesg(8) angezeigt werden:


ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver
ixgbe 0000:03:00.0: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0
ixgbe 0000:03:00.0: 31.504 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x4 link)
ixgbe 0000:03:00.0: MAC: 4, PHY: 0, PBA No: H86377-006
ixgbe 0000:03:00.0: Intel(R) 10 Gigabit Network Connection
libphy: ixgbe-mdio: probed
ixgbe 0000:03:00.1: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0
ixgbe 0000:03:00.1: 31.504 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x4 link)
ixgbe 0000:03:00.1: MAC: 4, PHY: 0, PBA No: H86377-006
tun: Universal TUN/TAP device driver, 1.6
ixgbe 0000:03:00.1: Intel(R) 10 Gigabit Network Connection
libphy: ixgbe-mdio: probed
ixgbe 0000:03:00.0 enp3s0f0: renamed from eth0
ixgbe 0000:03:00.1 enp3s0f1: renamed from eth1
pps pps0: new PPS source ptp1
ixgbe 0000:03:00.0: registered PHC device on enp3s0f0
pps pps1: new PPS source ptp2
ixgbe 0000:03:00.1: registered PHC device on enp3s0f1

Wenn nur einer der beiden Netzwerkanschlüsse der Karte genutzt wird, tritt wahrscheinlich selbst dann kein Engpass auf, wenn die Karte nur mit doppelter PCIe-3.0-Verbindungsgeschwindigkeit ausgeführt wird. Das habe ich allerdings nicht überprüft.

Eine andere Möglichkeit, um auf dem PCIe-Bus des Computers zu überprüfen, ob das Gerät mit Höchstgeschwindigkeit läuft, besteht darin, sicherzustellen, dass LnkSta mit LnkCap in der Ausgabe lspci(8) übereinstimmt:


% sudo lspci -vv
[...]
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller 10G X550T (rev 01)
        Subsystem: Intel Corporation Ethernet Converged Network Adapter X550-T2
[...]
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
[...]
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <2us, L1 <16us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (ok), Width x4 (ok)
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
[...]

Alternativ kann mit ethtool(8) überprüft werden, ob die Netzwerkverbindung mit 10 Gigabit pro Sekunde ausgeführt wird:


% sudo ethtool enp3s0f1
Settings for enp3s0f1:
	Supported ports: [ TP ]
	Supported link modes:   100baseT/Full
	                        1000baseT/Full
	                        10000baseT/Full
	                        2500baseT/Full
	                        5000baseT/Full
	Supported pause frame use: Symmetric
	Supports auto-negotiation: Yes
	Supported FEC modes: Not reported
	Advertised link modes:  100baseT/Full
	                        1000baseT/Full
	                        10000baseT/Full
	Advertised pause frame use: Symmetric
	Advertised auto-negotiation: Yes
	Advertised FEC modes: Not reported
	Speed: 10000Mb/s
	Duplex: Full
	Auto-negotiation: on
	Port: Twisted Pair
	PHYAD: 0
	Transceiver: internal
	MDI-X: Unknown
	Supports Wake-on: d
	Wake-on: d
        Current message level: 0x00000007 (7)
                               drv probe link
	Link detected: yes

Anhang C: BIOS-Update für Mellanox ConnectX-3

Auf meinem Mainboard Supermicro X11SSZ-QF konnte die Mellanox ConnectX-3 keine Verbindung herstellen. Der Treiber für den Linux-Kernel der Mellanox hat mehrere Fehler verzeichnet:


kernel: mlx4_en: enp1s0: CQE error - cqn 0x8e, ci 0x0, vendor syndrome: 0x57 syndrome: 0x4
kernel: mlx4_en: enp1s0: Related WQE - qpn 0x20d, wqe index 0x0, wqe size 0x40
kernel: mlx4_en: enp1s0: Scheduling port restart
kernel: mlx4_core 0000:01:00.0: Internal error detected:
kernel: mlx4_core 0000:01:00.0: device is going to be reset
kernel: mlx4_core 0000:01:00.0: crdump: devlink snapshot disabled, skipping
kernel: mlx4_core 0000:01:00.0: device was reset successfully
kernel: mlx4_en 0000:01:00.0: Internal error detected, restarting device
kernel: <mlx4_ib> mlx4_ib_handle_catas_error: mlx4_ib_handle_catas_error was started
kernel: <mlx4_ib> mlx4_ib_handle_catas_error: mlx4_ib_handle_catas_error ended
kernel: mlx4_core 0000:01:00.0: command 0x21 failed: fw status = 0x1
kernel: pcieport 0000:00:1c.0: AER: Uncorrected (Fatal) error received: 0000:00:1c.0
kernel: pcieport 0000:00:1c.0: PCIe Bus Error: severity=Uncorrected (Fatal), type=Transaction Layer, (Receiver ID)
kernel: mlx4_core 0000:01:00.0: command 0x43 failed: fw status = 0x1
kernel: infiniband mlx4_0: ib_query_port failed (-5)
kernel: pcieport 0000:00:1c.0:   device [8086:a110] error status/mask=00040000/00010000
kernel: pcieport 0000:00:1c.0:    [18] MalfTLP                (First)
kernel: pcieport 0000:00:1c.0: AER:   TLP Header: 4a000001 01000004 00000000 00000000
kernel: mlx4_core 0000:01:00.0: mlx4_pci_err_detected was called
kernel: mlx4_core 0000:01:00.0: Fail to set mac in port 1 during unregister
systemd-networkd[313]: enp1s0: Link DOWN
kernel: mlx4_en: enp1s0: Failed activating Rx CQ
kernel: mlx4_en: enp1s0: Failed restarting port 1
kernel: mlx4_en: enp1s0: Link Down
kernel: mlx4_en: enp1s0: Close port called
systemd-networkd[313]: enp1s0: Lost carrier
kernel: mlx4_en 0000:01:00.0: removed PHC
kernel: mlx4_core 0000:01:00.0: mlx4_restart_one_up: ERROR: mlx4_load_one failed, pci_name=0000:01:00.0, err=-5
kernel: mlx4_core 0000:01:00.0: mlx4_restart_one was ended, ret=-5
systemd-networkd[313]: enp1s0: DHCPv6 lease lost
kernel: pcieport 0000:00:1c.0: AER: Root Port link has been reset
kernel: mlx4_core 0000:01:00.0: mlx4_pci_resume was called
kernel: mlx4_core 0000:01:00.0: Multiple PFs not yet supported - Skipping PF
kernel: mlx4_core 0000:01:00.0: mlx4_pci_resume: mlx4_load_one failed, err=-22
kernel: pcieport 0000:00:1c.0: AER: device recovery successful

Geholfen hat die Aktualisierung des X11SSZ-QF BIOS auf die neueste Version.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Benchmarks für Batch-Übertragungen
  1.  
  2. 1
  3. 2
  4. 3
  5. 4


Brian Kernighan 03. Sep 2022 / Themenstart

Wenn Du jemanden hast, der die Glasfaser auf dosen spleißen kann mach ruhig. Die meisten...

recluce 30. Aug 2022 / Themenstart

Ich verwende zwei Switches: Ein Zyxel 8-Port nBase-T Switch (1G, 2,5G, 5G und 10Gbit/s...

gorden 29. Aug 2022 / Themenstart

Ähm wo finde ich Kabel die länger als 3m sind mit so viel Power bzw. generell wenn diese...

Brian Kernighan 29. Aug 2022 / Themenstart

40 GBit ist im Grunde nichts anderes als vier 10GBit Kanäle die parallel laufen. Da...

Kommentieren



Aktuell auf der Startseite von Golem.de
Neue Grafikkarten
Erste Preise für Nvidias Geforce RTX 4090 aufgetaucht

Der US-Händler Newegg gibt einen Blick auf die Preise der Nvidia-Ada-Grafikkarten. Sie werden teurer als die Geforce RTX 3090 zuvor.

Neue Grafikkarten: Erste Preise für Nvidias Geforce RTX 4090 aufgetaucht
Artikel
  1. Smart Home Eco Systems: Was unterscheidet Alexa von Homekit von Google Home?
    Smart Home Eco Systems
    Was unterscheidet Alexa von Homekit von Google Home?

    Alexa, Homekit, Google Home - ist das nicht eigentlich alles das Gleiche? Nein, es gibt erhebliche Unterschiede bei Sprachsteuerung, Integration und Datenschutz. Ein Vergleich.
    Eine Analyse von Karl-Heinz Müller

  2. Hideo Kojima: Es sollte ein Death-Stranding-Spiel für Google Stadia geben
    Hideo Kojima
    Es sollte ein Death-Stranding-Spiel für Google Stadia geben

    Hideo Kojima arbeitete am Exklusivtitel für Stadia. Das wurde vorzeitig eingestellt, auch weil Google nicht an Einzelspieler-Games glaubte.

  3. Superbase V: Zendures Solarstation mit 6.400 Wh kommt mit hohem Rabatt
    Superbase V
    Zendures Solarstation mit 6.400 Wh kommt mit hohem Rabatt

    Vor dem Verkaufsstart über die eigene Webseite verkauft Zendure seine Superbase V über Kickstarter - mit teilweise fast 50 Prozent Rabatt.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Razer DeathAdder V3 Pro 106,39€ • Alternate (u. a. Kingston FURY Beast RGB 32 GB DDR5-6000 226,89€, be quiet! Silent Base 802 Window 156,89€) • MindFactory (u. a. Kingston A400 240/480 GB 17,50€/32€) • SanDisk microSDXC 400 GB 29,99€ • PCGH-Ratgeber-PC 3000 Radeon Edition 2.500€ [Werbung]
    •  /