Rozdział 7. Optymalizacja i dostrajanie aplikacji Sparka
W poprzednim rozdziale omówiliśmy sposoby pracy z egzemplarzem Dataset w językach Java i Scala. Wyjaśniliśmy również, jak Spark zarządza pamięcią w celu wykorzystania egzemplarza Dataset jako części ujednoliconego API wysokiego poziomu w Sparku. Omówiliśmy także pewien koszt związany z używaniem egzemplarzy Dataset i pokazaliśmy, jak można go obniżyć.
Pomijając kwestię obniżanie kosztu, warto również zastanowić się nad tym, jak zoptymalizować i dostroić Sparka. W tym rozdziale przedstawimy zbiór konfiguracji Sparka umożliwiających zastosowanie optymalizacji, zajmiemy się strategiami złączeń w Sparku, omówimy Spark UI, a także pokażemy, jak szukać wskazówek sugerujących nieprawidłowe zachowanie ...
Get Spark now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
