
387
第九章
在 Spark 上使用
深度學習與 DL4J
十年路途上,盡是一夜情
年輕的歲月,正離我而去
再次告訴我,好讓我明白
你確定漢克,也是這樣嗎?
老漢克真的,也是這樣嗎?
— Waylon Jennings,「你確定漢克也是這樣嗎?(Are You Sure Hank
Done It This Way)」
DL4J 搭配 Spark 與 Hadoop 的使用簡介
資料中心(datacenter)過去十年出現了兩個關鍵的技術,分別是 Apache Hadoop 與
Apache Spark。尤其是 Hadoop,如今已成為資料倉儲(data warehouse)成長與演進
的中心。Spark 也成功讓 MapReduce 成為在 Hadoop 執行平行迭代演算法的主線執行
框架。
DL4J 支援在 Spark 上擴展網路的訓練工作。我們可以使用 Spark 來執行 DL4J,以顯著
降低網路訓練所需的時間。隨輸入資料量增加而增長的訓練時間,也有機會藉此達到降
低的效果。