Reserve操作


Reserve操作通过sparkjob.reserve.operations参数定义。多个Reserve操作以 ';' 分隔. 在下面的例子,我们将HDFSInputConnector读入的HDFS文件结果通过Reserve操作缓存到c1。我们用的是Reserve的短名,全名是'com.exceeddata.ac.job.operation.Reserve'. 注:如果 c1 已经存在,它会被Reserve操作的新内容所覆盖。

JSON

{ "connector.hdfsin.input.path": "hdfs://master:9000/user/root/upload/apachelog.txt", "connector.hdfsin.parser.class": "TextApacheAccessLogParser",

"sparkjob.input.connectors":  "com.exceeddata.ac.connector.hdfs.HDFSInputConnector",

"sparkjob.reserve.operations": "Reserve?output=c1"

}