读人链接库


读入链接库通过sparkjob.input.connectors 参数定义。多个读入链接库以 ';' 分隔。在下面的例子,我们定义HDFSInputConnector而且将读入的HDFS文件结果缓存到c1。 注:HDFSInputConnector的预设的id是"hdfsin".

JSON

{ "sparkjob.input.connectors": "HDFSInputConnector?output=c1(input.path=/user/demo/demo1.csv, input.format=csv)", "sparkjob.reserve.operations": "Reserve?input=c1,output=c2" }