代码编辑实时任务

更新时间:2024-06-20 07:15:52下载pdf

本文介绍如何使用代码的方式编辑实时任务。

前提条件

您已有至少一个数据源。

操作步骤

  1. 登录 涂鸦开发者平台

  2. 在左侧导航栏中,选择 数据 > 数据分析 > 项目管理

  3. 在左侧导航栏中,选择 数据处理 > 实时任务

  4. 单击 新建任务,选择 代码编辑
    代码编辑实时任务

  5. 进行数据源配置。
    代码编辑实时任务

  6. 进行数据脚本的配置。
    代码编辑实时任务

    序号 区域 描述
    1 数据表 该数据源的数据,当前主要是日志数据。
    2 维表 该数据源的维度表信息,通过 Tab 键进行切换。其中包括官方维度表(自带)、以及自定义的实时表和离线维度表。
    3 表信息 所选数据表/维表的表字段信息。
    4 代码编辑窗口 作业编辑窗口,其中可输入Flink SQL语句。
    5 模版导入 一些模版代码。
    6 全屏 使代码编辑模块进入全屏模式。
  7. 进行数据流转的配置。

    说明:目前通过此方式都是以实时表的形式存储,暂未开放以 Kafka、MQTT 等消息供下游消费。

    代码编辑实时任务

    参数 描述
    数据流转类型 确定是进行表存储还是消息队列,目前仅表存储可用。
    数据存储类型 确定存储的类型,目前仅汇总表可用。
    数据存储表名 此处可以自定义存储的表名。
    表别名 用作展示名称。
    数据存储周期 您可以指定数据存储的周期,取值范围为 1~365 天。
    表字段定义 表字段是根据前面 Flink SQL 解析得到,您可以重新设置该字段的数据类型与描述,并且决定是否创建该字段的索引(其中 dtgmtCreate 是系统自带字段)。
    是否创建索引 创建索引会将您的查询分页加速,但是会额外消耗存储,建议按需选择,最多选择 10 个。
    唯一键 择一个或多个字段,选中的多个字段用来标识该数据唯一。
  8. 数据流转配置完成后,单击下方 测试
    平台会弹出一个窗口进行该任务的预跑,涉及到数据源消息订阅、实时处理、数据表写入等完整步骤,当全部测试通过才能完成任务的最终创建。测试失败时,您可以关闭该窗口返回做修改,每次修改之后都需要重新测试通过后方可创建任务。
    代码编辑实时任务

  9. 回到任务列表页,单击 启动任务,进行资源配置。
    代码编辑实时任务