Neuer Homeserver gesucht

Das ASRock hat 6 USB2 Ports, da könnte ich mir doch fürs OS auch ein RAID aus zwei USB-Sticks bauen...

Dafuq did I just read?

Da geht doch sicher auchn RAID6 mit 5 Sticks und einer Hot-Spare...

Dieser Beitrag wurde von Polygon: 18 Apr 2015, 20:31 bearbeitet

wtf .. just dont ..

Statt euch drüber lustig zu machen, könntet ihr ruhig mal schreiben, was daran so falsch sein soll. Schließlich ist der Thread hier nicht nur zu eurer Unterhaltung da…

In der Regel sind in gängige Interfaces zur Datenübertragung (SATA, SAS, M2) auf beiden Seiten (Host + Laufwerk) jeweils Fehlerkorrekturmechanismen verankert, die man so bei USB nur rudimentär vorfindet. Außerdem ist da dieses Roothub-Konzept, sprich: wenn mal ein angeschlossenes Gerät quer schießt, wird der ganze Bus geresettet. Bei einer SATA Punkt-zu-Punktverbindung hast du das nicht. Und du bist doch auch nicht der erste Mensch, dem ein USB-Stick mir nichts dir nichts einfach mal breit war. Ich habe hier einen Berg von Sticks mit defekten Blöcken, gefakter Speichergröße oder einfach nur durchgebrannter Elektronik. Die Fehlerhäufigkeit ist aus meiner Sicht wesentlich stärker ausgeprägt als bei konventionellen Datenträgern wie Magnetplatten oder Solidstate Drives, die im Datenblatt immerhin eine MTBF stehen haben, mit der man arbeiten kann. SSDs haben meist auch einen guten Controller, der in Verbindung mit Caches Schreiboperationen abfängt, zusammenführt und erst dann optimiert auf den Datenträger überträgt. Bei USB wird sofort ne Speicherzelle angefasst, ob der Zugriff nun Sinn macht, doppelt erfolgt oder nicht. Zum Schluss bleibt noch die geringe Datentransferrate und hohe Latenz bei USB2.0 - wenn du dazu noch zwei Sticks an einem Hub betreibst, die ständig synchronisiert werden, steigt beides noch mal ne Ebene tiefer. Grundsätzlich kannst du dir aber ein Stick-Raid bauen. Du brauchst nur Blockdevices, und diese Voraussetzung erfüllen Sticks.

Es gibt durchaus auch gute Sticks, die sich für einen solchen Einsatz eignen und bspw. im Microserver auch intern Anschluss finden (wenngleich dann nur als einzelner Stick ohne RAID). In der ESX-Welt ist das bspw. Gang und Gäbe und dahingehend gibt es sogar BestPractises beim Einsatz von Sticks von den Herstellern selbst. Da haste dann auf einem Stick/einer SD-Card ein bissl Linux und einen Baremetal-HV drauf, der ganze Schmonz landet im RAM und das wars. Das ist dann aber auch so konstruiert, dass du eine zentrale Verwaltung mit der Config des Systems hast und nicht weinen musst, wenn dir mal ein Datenträger abraucht.

Generell sind gute Sticks teuer und viel steht dann nicht mehr zwischen einer kleinen und brauchbaren SSD.

Wie Schimmi schon sagte, Sticks nimmt man üblicherweise nur dann, wenn die normalerweise nicht im laufenden Betrieb beschrieben werden. So läuft das bei FreeNAS, VMWare ESXi (jdf. kann man es da so machen, der Stick dient dann mehr oder weniger zum booten bis man sich per iSCSI o.Ä. das eigentliche System holt) und diversen anderen. Wenn bei FreeNAS der Stick abraucht, liegt die Config auf den Platten, man packtn neuen Stick rein und alles läuft (idealerweise) wieder.

Desweiteren seh ich jetzt eh nicht so das Problem, das Linux mit auf das Daten-RAID zu packen. Vielleicht kannst du ja mal deine Bedenken diesbezüglich schildern.

Na das sind doch mal paar hilfreiche Infos, vielen Dank! Das ganze hier soll doch nicht nur für mich sein. Vielleicht kommt der ein oder andere auch auf den Geschmack, sich von kommerziellen Cloudlösungen zu verabschieden und stattdessen sein eigener Hoster für dies und das zu werden.



Zu dem USB-RAID: ich hatte mir das so ein bißchen wie mit den SD-Karten im Raspberry Pi vorgestellt, aber offensichtlich führt uns das doch nicht weiter. Wieder schlauer geworden.

Weitere Überlegungen: ich hab zwar noch keine Ahnung von „diesem Docker“, aber was ich bisher so von Leuten mitbekommen hab, scheint das ja ne ganz vernünftige Angelegenheit zu sein. Damit lassen sich wohl relativ einfach kleine oder große Systemkomponenten kapseln und auch Backups machen. Wenn ich /etc /var /home und /root noch separat spiegele (was ich übrigens ohnehin schon mache), dann sollte doch im Fall eines SSD-Ausfalls ein neues System relativ fix wieder aufgesetzt sein.

Andererseits habe ich dann definitiv erstmal Downtime, was mit dem System auf dem RAID nicht der Fall wär. Meine Bedenken dahingehend sind eigentlich eher aus Gründen des Ordnungsempfindens. Es fühlt sich irgendwie aufgeräumter an, wenn die Nutzdaten vom System auch physisch getrennt sind.

Aber ein zweites HDD-RAID fürs System ist auch irgendwie übertrieben, zumal ich jetzt keine 30G für die Systempartition brauch. Und da sind noch Mails, Chatlogs und paar andere Sachen dabei, die ich bei einem neu aufgesetzten System auf die Datenpartition packen würde. Darum auch der Gedanke an son 32G-Stick fürn 10er. Abgesehen davon bräuchte ich dann auch wieder noch einen Controller, wenns das ASRock wird, weil da nur zwei SATA-Ports drauf sind.

Never Touch a Running System. Wozu was ändern wenn es doch läuft. Ich habe auch schon überlegt ob ich meine System mal aufrüste, aber wenn ich es mir dann recht durchdenke, ist es eigentlich unnötig. Klar Plattenupgrades macht man mal so. Software klar, wieso nicht, aber board und Prozessor? Das Netzteil tauscht man auch nur wenns wegraucht.

Vor einer Weile hatte ich mich mal informiert was man denn jetzt so einbaut. Vor allem ging es mir um Strom sparen und trotzdem im richtigen Moment Power haben. Nach einigen Recherchen stand der i3 bei mir ziemlich weit oben. Eventuell guckst du dir den mal an. Die Boards fressen ja nicht ganz soviel, bzw. kommts da auf die eigenen Ansprüche an.

Meinen Homeserver hatte ich 2012 aufgesetzt, mit Komponenten die ich 2008 gekauft hatte. Seit dem läuft er im Prinzip heute noch genauso. Ab und zu ist natürlich mal etwas Software rausgeflogen bzw. wurden mal die Festplatten geupgradet, mehr aber auch nicht.

Ich habe ein Strommessgerät an meinen Homeserver angeschlossen. Er verbraucht durchschnittlich 61 Watt und läuft das ganze Jahr. Sind so 115 Euro im Jahr. Damit du vergleichen kannst hier mal die Hardware.

• Mainboard: GA-MA78GM-S2H
• CPU: Amd Athlon 64 x2 5200+ (weiß nicht genau ob die EE version)
• Netzteil: Be Quite Dark Power Pro, 420 Watt
• RAM: 6 GB DDR2 800mhz
• Festplatten:
  • Intern: 2 * 2TB im RAID 1 ist schon wieder voll -> upgrade auf zweimal 4 TB geplant
  • Intern: 1 mal 500 GB mit Ubuntu 12.04.5
  • Extern: 1TB an USB für Backup
• Netzwerkkarten:
  • Wifi: TP-LINK TL-WDN4800 (Da Server auch WLAN Router, spart etwas strom im Jahr)
  • 2 * Ethernet: gigabit LAN für intern und extern

Softwaremäßig läuft auf diesem Gerät einiges und es funktioniert tadellos ohne den Prozessor stark zu beanspruchen und damit den Stromverbrauch zu erhöhen. Ich bin sehr stolz auf meinen Server und was er leistet. Hier mal die Fertigkeiten bzw. Softwaredienste.

• 5ghz Wifi mittels hostapd -> sehr schnell, sehr stabil, lohnt sich für Wohngebiete und kleinere bis mittlere Wohnungen
• Aria2 Downloader -> sehr zu empfehlen, so kann man remote downloaden also im Firefox herunterladen läd nicht mehr über den Homeserver / NAS auf den Client im Netzwerk sondern direkt auf den Server selbst. Schont das Netzwerk und der client kann getrost ausgeschaltet werden.
• Transmission daemon
• Subsonic (Music Cloud auf eigenem Server von Sindre Mehus) -> sehr zu empfehlen
• nginx
• redmine
• tomcat
• SSH (Key Authentication + Port Knocking)
• NFS (sehr unsicher -> unbedingt Firewall erforderlich)
• Shorewall Firewall
• wordpress (usv-tu-schach.de)
• dyndns -> tt-server.de und usv-tu-schach.de landen auf meinem Homeserver
• munin
• Ubuntu Softraid 1
• rsnapshot weekly backup
• git repository hubs (gitorious, gitlab, etc)
• piwik, open source google analytics pendant
• postfix email
• owncloud (nicht mehr aktuell -> war nicht überzeugt von dieser buggeschichte, aktuell schaue ich mir PowerFolder an, generell sollte man bei dateikritischen bzw. sicherheitskritischen Sachen eher in die Javawelt als in die PHP welt schauen.)

@ALLE anderen

Ich kann nur jedem empfehlen sich einen Homeserver einzurichten. Am Anfang kostet es viel Zeit aber es kommt ein Zeitpunkt ab dem einem das System nur noch perfekt dient und wirklich nützt. Gerade was Ordnung bei den Daten angeht. Cloud Dienste bzw. Erreichbarkeit von Daten übers Netz. Datensicherheit, Datenintegrität. Webpräsenzen jeglicher Art.

Dieser Beitrag wurde von I.I: 22 Apr 2015, 23:38 bearbeitet

I.I, das wird schon der EE sein, der normale hat bereits bei ein wenig Arbeit eine TDP von 89W (CPU only). Für deinen Einsatzzweck ist das natürlich nicht schlecht, da du den Einsatzzweck durch die vielen Anwendungen sehr breit gefächert hast. Dennoch: je mehr Anwendungen du auf dein NAS packst, desto mehr mögliche Fehlerquellen, Sicherheitslücken usw. entstehen an dieser für deine wichtigen Daten vorgesehenen Plattform.

http://de.wikipedia.org/wiki/Thermal_Design_Power

Von der TDP kann mich nicht direkt auf den Stromverbrauch schließen. Steht unter Aussagekraft der TDP im Wikilink.

Ja ich habe viel raufgepackt aber bin auch relativ sicher aufgestellt. Man kann so ein System ordentlich härten. Die größte Schwachstelle (wenn nicht gerade sowas wie heartbleed kommt) ist meist eh der Webserver bzw. php Sicherheitslücken. Neben DNS und ssl ist auch auf dem Server nix groß nach außen hin offen. NFS ist extrem unsicher weswegen man unbedingt eine Firewall benötigt bzw. das ganze mit Kerberos aufzieht. Ldap ist zwar installiert aber an Kerberos habe ich mich noch nicht rangetraut.

Neben den abgeschotteten Diensten sollte man natürlich auch ein vernünftiges user management haben um nur bestimmte nutzer/gruppen auf bestimmte bereiche zu lassen. Aber das versteht sich natürlich von selbst.

Dieser Beitrag wurde von I.I: 22 Apr 2015, 23:20 bearbeitet

Das stimmt, ist aber ein guter Näherungswert. Ansonsten hast du dir durchaus einen Kopf gemacht, das sieht man schon an der Auswahl der Applikationen. Ein NAS sieht für mich trotzdem anders aus. Puristischer

Nur um etwaigen Fehlinterpretationen vorzubeugen: auch bei mir macht das alte Gerät weit mehr als nur Network Attached Storage. Da läuft unter anderem Dovecot+Roundcube, Prosody, Weechat, MPD, Webhosting, Webprogrammierung, diverse git-Repos, selfoss, Owncloud incl. Caldav/Carddav, Cups, TVHeadend, MiniDLNA und ich hab sicher noch zwei drei Sachen vergessen. Und ja, wenn mal was mit der Bude nicht in Ordnung ist, geht das dann meist erstmal alles nicht mehr, und dann kuckste erstmal dumm.

I.I: da das Teil im Moment aus Gründen™ metaphorisch gesagt auf Notstrom fährt, ist never touch a running system nicht mehr gegeben. Es lief jetzt seit 6 Jahren durch, nur durch dist-upgrades aktualisiert. Durchschnittlich 42 Watt, mit nervigem 40er Lüfter oben drauf. Der soll jetzt mal verschwinden, wenn das System ohnehin neu aufgesetzt werden muss.



Hat eigentlich noch jemand ne Meinung zu System mit aufs RAID vs. System separat?

RAID und System trennen, versteht sich von selbst denke ich! Der gesunde Menschenverstand sagt einem das schon :-). Du schreibst ja oben auch schon selber, dass sich das irgendwie falsch anfühlt beides auf eins zu packen. Eine Availability von 100% ist bei dir sicherlich auch nicht von Nöten.

Ich denke wir reden über ein Softraid mittels mdadm.

Warum nicht System auf Raid?

1.) Systemdaten müssen selten dupliziert werden
2.) Die Konfigurationsdaten für das Raid liegen selber auf dem Raid, eventuelle komplikationen bei neuinstallation des Systems werden vermieden.
3.) Softraid 1 ist langsam beim schreiben, system schreibt zusätzlich
4.) Upgrade des Raids (wie bei mir demnächst von 2TB auf 4TB ist ohne Systemwechsel schnell und unkompliziert möglich) Wenn du jetzt die neuen zwei 4 TB platten an zwei neue SATA ports anschließt und sie dann als neues RAID konfigurierst und deine raid config liegt auf dem alten raid system, dass klingt ja schon merkwürdig. Da kannst du ja das alte System ohne Zusatzaufwand nie trennen, ohne das die dein neues Raid wegfliegt.

Wenn du jetzt sagst du lagerst /etc und so weiter auf ne andere Platte aus, nun gut dann kann dort auf der Platte eigentlich auch das gesamte System liegen und du legst dir halt partitionen für die bestimmten Bereiche an.

Also ganz einfach SYSTEM und RAID trennen.


Mein Raid ist unter /media/nfs/share/data gemountet, die nfs clients binden sich per autofs den mountpoint an die gleiche Stelle in Ihrem System ein, so funktionieren auch alle Links. Die Clients haben dann im Home den Download ordner auf /media/nfs/share/data/Download gelinkt. Naja und so ist alles ziemlich easy. Sobald ein Client auf Download schreiben will und im Netzwerk ist wird das NFS gemounted und aufs RAID geschrieben. Von einem anderen Client kann man da dann auch zugreifen. Es gibt natürlich auch andere Lösungen.

Dieser Beitrag wurde von I.I: 23 Apr 2015, 19:03 bearbeitet

Da möchte ich aber entschieden widersprechen.

Es ist zwar richtig das sich auf dem System ansich nicht viel ändern wird, jedoch ist es auch um längen wahrscheinlicher das ein Datenträger ausfällt als 2. Erst recht wenn wir hier von günstigen USB Sticks reden.

Zur Raidconfig: das ist bei einem Raid1 reichlich unerheblich. Die Einzelnen Teile des Raid1 kann er in dem Fall immer einzeln mounten und starten, und wenn man es richtig macht (ein raid1, lvm drüber) dann hat das auch nicht viel mit "raid-config" zu tun, zumal das Argument hier noch wäre: man kann diese Config noch lesen - wenn der USB Stick abraucht ist man aufs Backup angewiesen (sodenn man denn eins hat .

Softraid 1 und langsam schreiben ist auch sehr vergleichsabhängig - das System schreibt hier sicher nicht viel und die Datenraten werden für seien Zweck hinreichend sein.

Auch ein Upgrade ist hier super einfach - wie gesagt - ein raid1 unter nem lvm - das ist sehr einfach migriert - auch mit dem System auf dem Raid.

Welche Vorteile hat das? .. _ALLE_ Daten sind gesichert, wenn der Flash-speicher (oder wo auch immer das System drauf ist) abraucht ist die Trauer groß - die Zeit die man benötigt um das System wiederherzustellen ist um ein vielfaches größer als einfach eine Platte auszutauschen.

Meines Erachtens nach gäbe es nur einen Anwendungsfall für ein System nicht auf dem Dateraid: wenn man die Platten zum Stromsparen runterfahren will, da handelt man sich für die Kosten des Stromsparens aber oben genannte Probleme ein.

Also ich rate sehr stark zum System auf dem Raid. Von der Performance her wird das kein Problem werden und es spart sehr viel Ärger im Nachhinein. Bei anderen Lösungen verliert man sich schnell auch mal in Spielereien

grüße

Seb

Was seb sagt.