工作参数


所有支持的sparkjob参数

  • sparkjob.input.connectors: (非必需), STRING格式. 这个参数指定用哪些读入数据的链接库。它允许的值是链接库的路径。多个链接库以 ; 分隔。 每一个链接库允许传和进出相关的数据区的一些参数,如 "classpath?attr1=val,attr2=val2,…"。

  • sparkjob.output.connectors: (非必需), STRING格式. 这个参数指定用哪些写出数据的链接库。它允许的值是链接库的路径。多个链接库以 ; 分隔。 每一个链接库允许传和进出相关的数据区的一些参数,如 "classpath?attr1=val,attr2=val2,…"。

  • sparkjob.analytic.operations: (非必需), STRING格式. 这个参数指定用哪些计算操作。它允许的值是链接库的路径。多个链接库以 ; 分隔。 每一个链接库允许传和进出相关的数据区的一些参数,如 "classpath?attr1=val,attr2=val2,…"。

  • sparkjob.reserve.operations: (非必需), STRING格式. 这个参数指定用哪些写出到缓存对象的操作。它允许的值是链接库的路径。多个链接库以 ; 分隔。 每一个链接库允许传和进出相关的数据区的一些参数,如 "classpath?attr1=val,attr2=val2,…"。

  • sparkjob.access.operations: (非必需), STRING格式. 这个参数指定用哪些读入缓存对象的操作。它允许的值是链接库的路径。多个链接库以 ; 分隔。 每一个链接库允许传和进出相关的数据区的一些参数,如 "classpath?attr1=val,attr2=val2,…"。

  • sparkjob.num.input.tasks: (非必需), INT格式. 读入数据时的最大并发量。如此参数未指定则最大并发量由各个链接库自行决定。

  • sparkjob.num.output.tasks: (非必需), INT格式. 写出数据时的最大并发量。如此参数未指定则最大并发量由各个链接库自行决定。

  • sparkjob.job.server.url: (非必需), STRING格式. 这个参数指定另外一个服务器来执行工作。