
為 Spark 與 DL4J 設定 Maven 專案物件模型
|
405
為 Spark 與 DL4J 設定 Maven 專案物件模型
在構建 DL4J 專 案、Hadoop job 或 Spark job 時,設定 Maven 專案物件模型(POM,
Project Object Model)檔案是其中很關鍵的一步。Apache Maven 可以讓你把所有需
要的檔案與依賴關係,打包到單一 JAR 檔 案(JAR artifact,
https://maven.apache.org/
plugins/maven-assembly-plugin/
)之中。本節將會介紹一些構建 DL4J POM 檔案的最佳實
務做法。以下就是 DL4J Spark 應用程序主要的一些依賴項目:
• DL4J
• ND4J
• DataVec
• DL4J-Spark
在下面的章節中,我們就來看看 Maven
pom.xml
檔案裡的東西該怎麼使用。隨著你所運
行的版本或 Spark 的不同,你可能需要以不同的方式來配置
pom.xml
檔案。為了支援與
Hadoop 的基本互動,我們添加了以下的 Maven 依賴關係(dependency):
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
<scope>${spark.scope}</scope> ...