Plant oder betreibt man ein komplexeres Netzwerk, kommt man an Funktionalitäten wie VLANs und erweiterten Regelwerken nicht vorbei. In meinem Fall möchte ich mein Netzwerk aus Sicherheitsgründen in unterschiedliche Teilbereiche trennen, damit IoT oder Smarthome Geräte nicht einfach so im selben Netzwerk sind wie alle Clients und WLAN Geräte. Ich brauche also mindestens VLAN Unterstützung, DHCP und DNS und die Möglichkeit erweitere Routing Regeln anzulegen.
Natürlich kann man sich für 300€+ eine Firewall mit schickem User-Interface hinstellen, die das alles schon bietet. Als DIY und OpenSource Mensch möchte man aber vielleicht auch lieber selbst etwas implementieren und etwas mehr über Netzwerke dabei lernen.
Geeignete Hardware sollte einen geringen Stromverbrauch (24/7 Betrieb), idealerweise Intel Netzwerkkarten und genügend Leistung haben.
Eine gute Wahl scheinen gebrauchte/refurbished Thinclients von Fujitsu zu sein. Denn diese haben einen PCIe Slot, und sind für ihre geringe Stromaufnahme bekannt.
Meine Entscheidung fiel auf den Fujitsu Futro S940. Alternativ ist auch der Nachfolger S9010 geeignet. Andere Modelle sind ohne dedizierten PCIe Slot und den passenden Platz für eine Karte eher bedingt geeignet, da man hier ohne Basteleien nicht einfach eine PCIe Karten einbauen kann.
Der Futro S940 hat dabei folgende Hauptmerkmale:
Als Netzwerkkarte wird für pfSense und OPNSense fast immer Intel empfohlen. Im Idealfall eine Karte mit i350 Chipsatz. Begibt man sich auf die Suche stößt man schnell darauf, dass diverse Hardware Hersteller sehr oft umgelabelte Versionen eben dieser Netzwerkkarte unter eigenem Namen anbieten.
Im Forum von servethehome gibt es dazu einen tollen Beitrag, der alle echten bekannten OEM Modelle mit i350 Chipsatz auflistet (aus Fernost gibt es viele Fälschungen die oft probleme machen)
Technischer Hinweis: Alle dual Port i350 Karten funktionieren ohne Leistungseinschränkung schon ab PCIe 2.0 mit x1! Auch wenn sie einen PCIe x4 oder x8 Steckformat haben.
Meine Wahl fiel auf eine HP NC361T. Einfach weil es sie gebraucht günstig zu kaufen gab und es im selben Shop sogar einen passenden PCIe riser gab.
https://www.piospartslap.de/HP-361T-Dual-Port-Gigabit-Network-Adapter-452495-001-656241-001-LP
https://www.piospartslap.de/AsRock-1U12LIW-RB1-Riser-Card-PCIe-30-x8-fuer-Server-225576065611-226377633802 (passt gut, hat ca. 1mm spiel und ist nicht mechanisch arretiert)
Den originalen PCIe riser gibt es hier https://www.bicker.de/risercard-d3318-pcie_risercard_d3318_pcie_x4_passend_fuer_d3313-sx-d343x-s-d363x_riser_card
Zur Installation wird ein passendes pfSense oder OPNSense image (amd64) auf z.B. mit rufus (https://rufus.ie/de/) ein USB Stick geschrieben, gebootet und installiert.
Dazu gibt es sehr gute und ausführliche Video Anleitungen auf youtube. Auch die richtige Konfiguration lässt sich sehr gut bei youtube erlernen.
Das Microsoft hier eigentlich versucht hat den Komfort von Apple zu kopieren ist ja durchaus wünschenswert. Doch die Umsetzung ist leider eine Vollkatastrophe.
Was man als User i.d.r möchte ist: Zuklappen, einpacken, vergessen und wenn man wieder Zeit hat aufklappen und alles wieder so vorzufinden wie man es verlassen hat. Ohne dass das Notebook im Hintergrund auch nur irgendwas tut. Optional das Notebook in den Ruhezustand versetzen (Suspend to Disk) wenn es länger aus ist.
Was sich Microsoft mutmaßlich gedacht hat: "Wäre doch super wenn wir im Hintergrund schon Windows Updates herunterladen und installieren, deine E-Mails abrufen oder deine Dateien indizieren"
Was man mit Modern Standby bekommt: Zuklappen, einpacken, nanu was macht denn da so Geräusche? Wieso ist mein Rucksack so heiß? Warum versucht mein Laptop ungefragt Windows Updates zu installieren oder irgendwas anderes auszuführen obwohl ich Connected-Standby explizit per Regestry deaktiviert habe? Ach Mist, jetzt ist der Akku auch schon leer!
Warum ist das so?
Für Windows gibt es im Standby diverse Gründe aufzuwachen. Offensichtliche Dinge wie ein Tastendruck z.B. oder eine Mausbewegung. Aber leider auch versteckte Dinge wie "Geplante Aufgaben", Hintergrundprozesse und Windows interne Funktionen die sich nirgends nachvollziehen oder gar konfigurieren lassen. Auch Gerätetreiber spielen hier teilweise eine Rolle und können unter Umständen zum aufwachen führen. Bei meinen Tests habe ich herausgefunden dass selbst bei explizit deaktiviertem Connected-Standby trotzdem das WLAN an bleibt und teilweise ein einfacher "ping" schon ausreicht für ein aufwecken. Noch absurder fand ich, dass in manchen Fällen der Bildschirm an war, obwohl das Notebook zugeklappt war oder es angeblich einen "Keyboard Input" gegeben hat während der Deckel zugeklappt war und keinerlei externe Tastatur angeschlossen war.
Mit dem deaktivieren von Connected-Standby, kann man die Lage zwar schon stark verbessern, doch Die Realität sieht leider so aus, dass Modern-Standby Alias s0 Sleep so gut wie nie so funktioniert wie s3 Standby.
Man kann alle Tipps abklappern:
Am Ende wird man leider oft feststellen dass das Notebook aus nicht erkenntbaren Gründen immer wieder "aufwacht" und so min. 9% Akku (oft mehr) pro Stunde verliert und so bereits nach einem halbem Tag pseudo standby nicht mehr nutzbar ist.
Mein Frustrationslevel bei diesem Thema ist aufgrund verschwendeter Lebenszeit und leer gezogener Akkus mittlerweile so hoch, dass ich trotz vieler Vorbehalte wieder darüber nachdenke doch wieder ein Apple Produkt zu kaufen. Auch wenn ich mein Lenovo Yoga Slim 7 Pro 16 eigentlich richtig gerne nutze.
Mit meinem Arbeitslaptop habe ich leider exakt das gleiche Problem. So fange ich meinen Morgen oft mit einem Tiefentladenen Akku an. Und wenn es nach HP geht, dann darf ich erstmal einen Kaffee holen, bevor sich das Notebook überhaupt zum einschalten bewegen lässt nachdem es wieder am Ladegerät hängt.
Als einzig zuverlässiger Workaround um seine Banane nicht im Rucksack zu kochen kann man gegenwärtig eigentlich nur das Notebook in den Ruhezustand statt in den Standby schicken. So bleibt der Akku zuverlässig voll. Leider dauert das deutlich länger und geht auf die Lebensdauer der SSD, da hierbei der komplette Arbeitsspeicherinhalt auf die SSD geschrieben wird.
Warum nutzt du nicht einfach s3 Standby?
Nicht nur wurden alle Laptop Hersteller seitens Microsoft gezwungen den neuen s0 low power idle mode zu implementieren, die meisten haben leider auch den alten gut funktionierenden s3 standby modus aus ihrem BIOS/UEFI entfernt. So auch bei mir.
Die User in den Hersteller Support Foren, auf reddit usw. fordern regelmäßig "gebt uns s3 Standby zurück!", doch die PC-Hersteller und Microsoft ignorieren das gekonnt. Bis auf ein paar Ausnahmen bei denen das Feature als "Linux Standby" wieder ins BIOS integriert worden ist (z.B. Lenovo Thinkpad).
Wie deaktiviert man Connected-Standby (Windwos 11)?
powercfg /setdcvalueindex scheme_current sub_none F15576E8-98B7-4186-B944-EAFA664402D9 0 powercfg /setacvalueindex scheme_current sub_none F15576E8-98B7-4186-B944-EAFA664402D9 0
Windows Registry Editor Version 5.00 [HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Power\PowerSettings\f15576e8-98b7-4186-b944-eafa664402d9] "DCSettingIndex"=dword:00000000 "ACSettingIndex"=dword:00000000
Computereinstellungen - Administrative Vorlagen - System - Energieverwaltung - Standbymoduseinstellungen
Wenn man für den Heimgebrauch Serverhardware für den Betrieb einer NAS bzw. Homeservers benötigt, muss es nicht immer die neuste und modernste Hardware sein. Auch alte etwas betagte Hardware kann hier hervorragend ihren Dienst verrichten. In den letzten Jahren gibt es immer mehr professionell betriebene Shops, welche alte Serverhardware refurbishen und wieder verkaufen. So kommt man zu günstigerer Hardware und sorgt vielleicht sogar dafür, dass weniger Hardware entsorgt oder neu hergestellt werden muss.
Auf dieser Seite möchte ich einige solcher Shops zusammenstellen und ein paar Tipps und Empfehlungen geben.
Im RAM kann es prinzipiell jederzeit zu Speicherfehlern kommen. Wenn ein System im Dauerbetrieb läuft steigt das Risiko für solche Speicherfehler mit jedem Tag, da es passieren kann, dass auf elektrischer Ebene die einzelnen Speicherzellen ihren Zustand irgendwann nicht mehr halten können und "kippen". Auf dem Desktop ist das meist vernachlässigbar da hier oft genug ein Neustart oder Ausschalten stattfindet. Die Daten also nicht dauerhaft im Arbeitsspeicher gehalten werden.
ECC setzt genau hier an und hält eine Prüfsumme vor mit der solche "bit-kipper" nicht nur erkannt sondern i.d.r korrigiert werden können, sofern kein kompletter Speicherdefekt vorliegt. Auch innerhalb einer CPU im Cache wird i.d.r. ECC eingesetzt.
Prüfsummen in Dateisystemen wie ZFS und BTRFS sind eigentlich ebenfalls dazu da, um solche Fehler zu erkennen und – wenn möglich – zu korrigieren. Doch wenn der Fehler schon im RAM entsteht, bevor die Prüfsumme berechnet werden kann, wird die Prüfsumme selbst fehlerhaft. Das Problem: Diese Dateisysteme vertrauen ihren Prüfsummen mehr als den eigentlichen Daten und "korrigieren" dann vermeintliche Fehler – in Wahrheit schreiben sie aber kaputte Daten zurück. Wenn ein einzelner RAM-Fehler mehrfach auftritt, kann so das ganze Dateisystem und dessen Daten unbrauchbar werden.
Ein klassisches Software-RAID hat dieses Problem nicht. Es verändert die Daten nicht aktiv, außer wenn eine Rekonstruktion nötig ist. Tritt ein RAM-Fehler auf, kann es zwar trotzdem zu Datenkorruption kommen, aber ohne die falsche Sicherheit, die ZFS oder BTRFS vorgaukeln.
Die richtige Reihenfolge wäre: Erst ECC-RAM nutzen, dann über Dateisysteme mit Prüfsummen nachdenken. Ohne ECC ist es egal, ob ein Dateisystem Prüfsummen verwendet oder nicht – die Daten sind im Dauerbetrieb sowieso nicht sicher.
Matt Ahrens, einer der ZFS-Entwickler, sagt selbst: „If you love your data, use ECC RAM.“ Alles andere ist Augenwischerei.
Wer wirklich Schutz vor "Silent Data Corruption" will, braucht somit ein System mit ECC-RAM. ZFS und BTRFS wurden für Enterprise-Systeme entwickelt. Diese Dateisysteme haben nicht einmal Recovery-Tools, weil im Rechenzentrum im Fehlerfall sowieso sofort das Backup eingespielt wird.
ECC-RAM ist nicht eine Option, sondern eine Voraussetzung. Wer ohne ECC auf Dateisystem Prüfsummen setzt, riskiert im schlimmsten Fall Datenverlust statt Datensicherheit.
Dies ist einfach eine Liste an geeigneten Shops die ich selbst zufällig oder gezielt auf der Suche nach passender Hardware gefunden habe. Zu den Shops selbst habe ich keinerlei Verbindung und habe bisher nur bei einem davon eine Bestellung durchgeführt.
Da mein alter Heimserver auf HP Microserver N40L Basis schon seit mehr als 10 Jahren zuverlässig seinen Dienst verrichtet, habe ich mir in letzter Zeit oft Gedanken über eine Ablösung gemacht.
Kriterien wie ausreichend ECC-Ram und eine zeitgemäße Rechenleistung standen dabei von vorneherein fest, da ich weiterhin bei FreeNAS bzw. mittlerweile "TrueNAS" bleiben möchte.
Ursprünglich habe ich eigentlich mit einem System auf Basis eines Intel i3 oder Xeon E3 geliebäugelt und hier die Preise beobachtet. Leider fangen brauchbare Mainboards mit genügend Festplattenanschlüssen preislich erst bei ca. 250-350€ an und einen passenden Prozessor benötigt man dann auch noch. Eine separate PCIe HBA (PCIe SATA Controller) wollte ich vermeiden da dies direkt ab Werkszustand schon einen erhöhten Strombedarf bedeutet und das Gerät eigentlich 24/7 laufen soll.
Durch Zufall bin ich darauf aufmerksam geworden dass ein deutscher Händler wiederaufbereitete Mainboards (Gigabyte MJ11-EC1) für knapp 70€ anbietet, welche wie perfekt auf meine Anforderungen passen. Ursprünglich kommen diese Mainboards wohl von Gigabyte G431-MM0 Server Systemen, welche eigentlich für GPU-Rechencluster eingesetzt werden. Durch die nativ vorhanden 8 SATA/SAS Ports eignet es sich allerdings auch super als Basis für eine NAS bzw. einen Heimserver.
Das besondere an diesem Gigabyte MJ11-EC1 Mainboard ist dass es von Haus aus folgendes bietet:
Alles in allem mit ~ 406€ (zzg. SSDs/HDDs) ein hervorragender Preis für einen Heimserver der folgende Erwartungen erfüllen soll:
Das Board kommt zunächst mit dem ATX24 Adapterstecker und dem Original Server Lüfter (nicht unbedingt Leise). Nach Sichtprüfung und provisorischen Anschluss an ein Netzteil, folgt erstmal der obligatorische Memtest über ein USB Stick.
Zu beachten ist dass die blauen Bänke immer zuerst bestückt werden müssen. Steht so auch in der Mainboard Anleitung.
Erfreulicherweise sind bei diesem Board die SATA Anschlüsse so durchnummeriert wie sie auch verbaut sind. Aus Richtung der RAM Bänke aus gesehen nummerisch aufsteigend.
Eine M.2 in voller 80mm Länge passt direkt aufs Board.
Leider passt die Belegung der Front Panel Anschlüsse des Jonsbo N3 Gehäuse nicht direkt zum Mainboard, so dass man hier eigene PIN Header basteln muss.
Momentan ist noch provisorisch ein übrig gebliebener 120mm Lüfter mit nur einer Schraube befestigt.
Ich werde mir hier noch überlegen ob ich einen passenderen Lüfter und vielleicht einen 3D-gedruckten Lüfteradapter (60mm auf 120mm) umbaue.
Eigentlich ist der 120er auch mit nur einer Schraube ziemlich fest drauf da er hinten auf den Ports zufälligerweise absolut Plan aufliegt und kühlt so auch noch gut die SSD mit.
Für das IPMI / BMC hingegen gibt es eine aktualisierte Version (12.61.17). Den download direkt von Gigabyte findet man hier
Im entpackten Archiv einfach die Datei "rom.ima_enc" aus dem Ordner "fw" über IPMI unter Maintenance > Firmware Update hochladen.
Für das BIOS gibt es leider kein Update auf der Herstellerseite. Auf meinen beiden gekauften Mainboards war die Version F09 aufgespielt.
Ich habe diese vorsichtshalber mal gesichert und hier bereitgestellt: Original BIOS MJ11-EC1 Version F09
In den Werkseinstellungen ist SMT (Multithreading) deaktiviert (nur 4 physische CPU-Kerne aktiv).
Unter AMD CBS die Option SMTEN auf Enabled aktiviert SMT. Damit lassen sich alle 8 logischen CPU-Kerne/Threads nutzen.
Gegebenenfalls nicht benötigte Netzwerkkarten lassen sich deaktivieren
C-States (automatisches runter-takten von CPU Kernen) aktivieren (nur C1 bis C3 vorhanden)
Nicht benötigte Optionen und Optionen für die das Board gar keine Anschlüsse verbaut hat deaktivieren
SDKarte MMC
Ich habe mich dazu entschlossen die M.2 SSD sowohl für das FreeNAS System als auch Datenpool für spätere Applikationen/VMs zu nutzen. Dazu habe ich folgende Anleitung benutzt.
Zusammengefasst ruft man vor Installation die Shell auf und modifiziert das Installationsskript so dass es nur 16GB statt 100% des vorhandenen Platzes nutzt. und führt dieses Skript anschließend aus.
sed -i 's/sgdisk -n3:0:0/sgdisk -n3:0:+16384M/g' /usr/sbin/truenas-install
/usr/sbin/truenas-install
Im Anschluss an die Installation kann man dann mit parted, oder einem grafischem Tool wie gparted eine zusätzliche ZFS Partition Partition erstellen, und in TrueNAS als Datenpool nutzen.
TrueNAS läuft auf dem Board erstmal nicht ganz fehlerfrei. Dazu müssen zunächst zwei mit der Epyc Plattform zusammenhängende Probleme behoben werden:
Die Konsole wird mit mutmaßlichen PCI-E Fehlern vollgemüllt. (Advanced Error Reporting) (Details siehe Thomas Krenn Wiki und TrueNAS Forum)
AER: Multiple Corrected error received: 0000:00:1c.4 AER: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID) ....
midclt call system.advanced.update '{ "kernel_extra_options": "pci=noaer" }'
midclt call system.advanced.update '{"kernel_extra_options": "ahci.mobile_lpm_policy=0"}'
Zum setzen beider Optionen gleichzeitig:
midclt call system.advanced.update '{"kernel_extra_options": "pci=noaer ahci.mobile_lpm_policy=0"}'
Anschließend Neustart. Die so gesetzen Kernel Optionen sind in TrueNAS persistent und überstehen Neustarts!
Damit das System so wenig Energie wie möglich unnötig verbraucht habe ich verschiedene Stromsparoptionen ausprobiert.
Mit den folgenden Optionen auf einen Idle Verbrauch von 22 bis 22,9W gekommen.
Dabei waren insgesamt drei 12V Lüfter am System angeschlossen, eine 1TB PM981a M.2 nvme SSD sowie die 32GB ECC RAM aus der Einkaufsliste verbaut.
ahci.mobile_lpm_policy=2 erlaubt die höchsten Stromspareinstellungen an den SATA Anschlüssen, welche die EPYC Embedded Plattform beherrscht.pcie_aspm=force erzwingt die Aktivierung von "Active-state power management" für alle PCIE Verbindungen.pcie_aspm.policy=powersave setzt die powersave policy für alle PCIE Verbindungen.Um alle Optionen mit dem Fix von weiter Oben unter Truenas Scale zu setzen:
midclt call system.advanced.update '{"kernel_extra_options": "pci=noaer ahci.mobile_lpm_policy=2"}'
Zusätzlich habe ich mehrere Kommandos in TrueNAS unter Init Scripts hinterlegt die nach Systemstart ausgeführt werden:
cpupower frequency-set -g powersave setzt den CPU gouverner auf powersave, was maximale Einsparung bringt. Möchte man etwas dynamischer auf stärkere Lasten reagieren empfielt sich allerdings der ondemand gouverner!powertop -c --auto-tune ermittelt nach systemstart automatisch mögliche Optimierungen und setzt diese/root/ZenStates-Linux-master/zenstates.py -p 2 -f 24 -d 8 -v 94 && /root/ZenStates-Linux-master/zenstates.py -p 1 -f 30 -d 8 -v 80 wget "https://github.com/r4m0n/ZenStates-Linux/zipball/master/" -O temp.zip && unzip temp.zip && rm temp.zipDa ich im Oktober geheiratet habe und einen anderen Namen angenommen habe, erhält diese Webseite eine neue Domain (stoeckle.li sowie stöckle.li).
Alte Links auf prezer.de werden automatisch umgeleitet.