Rozdział 11. Zarządzanie platformą Hadoop

Poprzedni rozdział poświęcono budowaniu klastrów opartych na platformie Hadoop. W tym rozdziale poznasz procedury pozwalające na zapewnienie płynnej pracy klastra.

System HDFS

Trwałe struktury danych

Dla administratora bardzo ważne jest zrozumienie procesu zarządzania trwałymi danymi na dysku przez komponenty systemu HDFS (węzeł nazw, pomocniczy węzeł nazw i węzły danych). Wiedza o przeznaczeniu różnych plików pomaga diagnozować problemy i wykrywać nietypowe sytuacje.

Struktura katalogów węzła nazw

Pracujący węzeł nazw posługuje się przedstawioną poniżej strukturą katalogów:

${dfs.namenode.name.dir}/
├── current
│   ├── VERSION
│   ├── edits_0000000000000000001-0000000000000000019
│ ├── edits_inprogress_0000000000000000020 ...

Get Hadoop -- Komplety przewodnik. Analiza i przechowywanie danych now with O’Reilly online learning.

O’Reilly members experience live online training, plus books, videos, and digital content from 200+ publishers.