========
配置文件
========

工作流
======

示例
----

配置文件::

   digraph wordcount {
       dummy -> step1
       dummy -> step2
       step1 [
             name="step1"
             type="hadoop"
             vars="$date=${date:YYYYMMDD}"
             input="/tmp/hpipe/examples/wordcount/input/part-*"
             output="/tmp/hpipe/examples/wordcount/output/${bizdate}/step1"
             mapper="cat"
             reducer="wc -l"
             mapred.reduce.tasks=1
             test.custom.val="today is ${date}, yestoday is ${bizdate}, and yestoday is ${bizdate}"
             ]
       step2 [
             name="step2"
             type="hadoop"
             vars="$date=$bizdate"
             input="/tmp/hpipe/examples/wordcount/input/part-*"
             output="/tmp/hpipe/examples/wordcount/output/${bizdate}/step2"
             mapper="cat"
             reducer="wc -l"
             ]
       dummy [
             name="dummy"
             type="dummy"
             vars="$bizdate=${date:YYYYMMDD}+2*$day"
             ]
   }

任务节点
========

公共配置
--------

name
^^^^

节点名。

type
^^^^

节点类型。

output
^^^^^^

节点输出路径。可以使用变量，例如：``output="/tmp/example/${bizdate}/"``。

vars
^^^^

定义变量
""""""""

语法如下：

* 分号分割的若干赋值语句

* 左值

  $开头的变量名

* 右值

  * int整数

  * 字符串

    单引号扩起来的字符串：``$name='test'``

  * 其它变量

    $号开头的变量名：``$date=$bizdate``

  * 时间变量扩展

    按照格式获取时间：``$date=${date:YYYYMMDD}``

使用变量
""""""""

在其它配置项里面使用变量，如 ``output`` ， ``script`` 等里面。

例如：

* ``output="/tmp/${bizdate}"``
* ``script="test.sh ${bizdate}"``

nonstrict
^^^^^^^^^

不要求前置条件全成功。例如：``nonstrict="true"``。

节点类型
--------

* hadoop
* hive
* script

hadoop
^^^^^^

hive
^^^^

hql
"""

HiveQL命令。

script
""""""

HiveQL文件。

option
""""""

Hive选项，例如： ``hive.exec.dynamic.partition.mode=nonstrict`` 。

script
^^^^^^

interpreter
"""""""""""

解释器，例如： ``perl`` ， ``bash`` 。可以只写出在系统变量 ``$PATH`` 内命令，也可以写完整的路径。

script
""""""

Script文件。

内置变量
--------

日期时间
^^^^^^^^

gmtdate
"""""""

脚本运行当前的日期。

bizdate
"""""""

脚本运行前一天的日期。可以在启动hpipe的时候用 ``--bizdate`` 指定日期，这个选项会同时更新 ``gmtdate`` 。

job_report
""""""""""

所有任务运行报告。

节点间依赖
==========

大多数情况下，只使用``->``即可定义依赖。但某些特殊功能需要单独定义。

nonstrict
---------

非强制依赖。默认依赖，若上游节点失败，不会继续执行，非强制依赖表示可以无视上游节点状态，继续执行。

具体例子可以参考 ``examples/email`` ::

   digraph email {
       dummy -> script
       script -> mailitsh [nonstrict="true"]
       mailitsh -> mailitpl
       (略)
   }