Klaster biurowy

Modernizacja Serwera NAS w Oparciu o Klaster Raspberry Pi CM5 i Ceph


Podsumowanie i Cele Projektu:

Projekt ma na celu zastąpienie obecnego, nierozszerzalnego serwera plików (NAS) nowoczesnym, skalowalnym i wysoce wydajnym rozwiązaniem klastrowym. W odpowiedzi na ograniczenia istniejącej infrastruktury, zdecydowano się na budowę niestandardowego systemu opartego na płycie klastrowej DeskPi Super6C z sześcioma modułami Raspberry Pi Compute Module 5 (CM5). Celem jest stworzenie nie tylko pojemnego i bezpiecznego magazynu danych, ale również wielofunkcyjnej platformy obliczeniowej, która będzie wspierać wewnętrzne procesy deweloperskie.

Platforma Sprzętowa:

  • Baza Klastra: DeskPi Super6C Raspberry Pi CM5 Cluster Board
  • Moduły Obliczeniowe: 6x Raspberry Pi CM5 (model CM5016016: 4 rdzenie CPU, 16 GB RAM, 16 GB eMMC)
  • Magazyn Danych: 6x Dysk NVMe o pojemności 1 TB (lub większej)
  • Narzędzie Konfiguracyjne: Raspberry Pi Compute Module 5 IO Board (do wstępnej instalacji i konfiguracji poszczególnych modułów)

Plan i Etapy Realizacji Projektu:

1. Faza I – Walidacja Oprogramowania DONE
  • Przeprowadzono udane testy weryfikacyjne systemu Gentoo Linux dla architektury aarch64 / arm64 z użyciem emulatora qemu-user.
  • Potwierdzono możliwość instalacji i kompilacji kluczowych komponentów oprogramowania, w tym rozproszonego systemu plików Ceph, co było warunkiem koniecznym do kontynuacji projektu.
2. Faza II – Testy na Platformie Docelowej WAITING
  • Po otrzymaniu komponentów sprzętowych, przeprowadzona zostanie instalacja i konfiguracja pojedynczego modułu CM5.
  • W tej fazie wykonane zostaną testy wydajności, stabilności oraz kompatybilności sprzętowej.
3. Faza III – Wdrożenie Pełnego Klastra WAITING
  • Montaż i uruchomienie wszystkich sześciu modułów w ramach płyty DeskPi Super6C.
  • Wdrożenie i konfiguracja finalnej architektury oprogramowania na całym klastrze.

Schemat sieci biurowej przed modernizacją NAS

Interactive 3D Visualization Unavailable


SprzętOpis
MT/5G2 x MikroTik RouterBOARD 760iGS hEX połączone
1Gbit światłowodem z dodatkowym linkiem 5G
NASIntel DN2800MT 8GB RAM z 24GB miniPCIE
2 x 1TB SSD w programowym RAID 1

Planowana Architektura i Konfiguracja Docelowa:

  • System Operacyjny: Na wbudowanych dyskach eMMC każdego modułu zostanie zainstalowany zoptymalizowany system Gentoo Linux (aarch64), służący jako podstawa operacyjna dla całego klastra.
  • Rozproszony Magazyn Danych (Ceph): Dyski NVMe zostaną połączone w jeden, wysoce odporny na awarie i skalowalny system plików Ceph, który będzie stanowił główną przestrzeń dyskową serwera NAS.
  • Usługi Plikowe: Klaster będzie udostępniał zasoby sieciowe za pomocą standardowych protokołów: NFS (dla systemów Linux/Unix), Samba (dla Windows) oraz AppleTalk (dla kopii zapasowych Time Machine z urządzeń Apple).
  • Rozproszony Kompilator (distcc): Klaster będzie pełnił funkcję farmy kompilacyjnej, wspierając kompilację skrośną (cross-compilation) dla wielu architektur, w tym x86_64, i686, aarch64 oraz armv7a.
  • Równoważenie Obciążenia (HAProxy): Zostanie wdrożony serwer proxy HAProxy skonfigurowany w trybie Round-Robin, aby równomiernie rozkładać obciążenie generowane przez żądania do usług działających na klastrze, zapewniając ich wysoką dostępność.

Schemat sieci biurowej po modernizacji NAS

Interactive 3D Visualization Unavailable


SprzętOpis
MT/5G2 x MikroTik RouterBOARD 760iGS hEX połączone
1Gbit światłowodem z dodatkowym linkiem 5G
CM1Raspberry Pi CM5 16GB RAM 16GB eMMC oraz 1TB NVMe
CM2Raspberry Pi CM5 16GB RAM 16GB eMMC oraz 1TB NVMe
CM3Raspberry Pi CM5 16GB RAM 16GB eMMC oraz 1TB NVMe
CM4Raspberry Pi CM5 16GB RAM 16GB eMMC oraz 1TB NVMe
CM5Raspberry Pi CM5 16GB RAM 16GB eMMC oraz 1TB NVMe
CM6Raspberry Pi CM5 16GB RAM 16GB eMMC oraz 1TB NVMe

Rezultat:

Wdrożenie projektu pozwoli na zastąpienie przestarzałego serwera NAS nowoczesnym, energooszczędnym i potężnym klastrem, który nie tylko rozwiąże problem braku miejsca, ale także dostarczy znaczącą moc obliczeniową na potrzeby wewnętrzne.