Rozdział 11. Zarządzanie platformą Hadoop
Poprzedni rozdział poświęcono budowaniu klastrów opartych na platformie Hadoop. W tym rozdziale poznasz procedury pozwalające na zapewnienie płynnej pracy klastra.
System HDFS
Trwałe struktury danych
Dla administratora bardzo ważne jest zrozumienie procesu zarządzania trwałymi danymi na dysku przez komponenty systemu HDFS (węzeł nazw, pomocniczy węzeł nazw i węzły danych). Wiedza o przeznaczeniu różnych plików pomaga diagnozować problemy i wykrywać nietypowe sytuacje.
Struktura katalogów węzła nazw
Pracujący węzeł nazw posługuje się przedstawioną poniżej strukturą katalogów:
${dfs.namenode.name.dir}/
├── current
│ ├── VERSION
│ ├── edits_0000000000000000001-0000000000000000019
│ ├── edits_inprogress_0000000000000000020 ...
Get Hadoop -- Komplety przewodnik. Analiza i przechowywanie danych now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
