Airflow介绍及实战步骤

新知榜官方账号

2023-09-18 18:48:32

概述

Airflow是一个我们正在用的工作流调度器，相对于传统的crontab任务管理，Airflow很好的为我们理清了复杂的任务依赖关系、监控任务执行的情况。我们喜欢它是因为它写代码太容易了，也便于调试、维护和继承重用，而不是像xml那样的配置文件用来描述DAG。通过SQL和HQL的临时查询，我们还可以快速生成前端图表，而且顺带连数据的API接口也都生成了，这几乎要让的Web开发工程师失业了。当然Airflow还支持移动端显示，只要收藏页面，我们就可以实现"移动监控"。

功能总览

任务调度系统：DAGs强大的任务调度与管理调度代码一览无余
数据剖析配置SQL语句，以及作图的option图表自动生成API数据自动生成将当前的图表地址http://localhost:8080/admin/airflow/chart?chart_id=2&iteration_no=40替换成http://localhost:8080/admin/airflow/chart_data?chart_id=2&iteration_no=40即可返回json数据如果对API数据自动生成不够满意，还可以轻松地对源代码自行定制。
监控管理任务日志任务监控调度配置化
权限管理系统配置用户管理数据源管理

实战步骤

安装Airflow
docker pull airflow
修改默认路径
这里如果不修改路径，默认的配置就是~/airflow
临时修改AIRFLOW_HOME环境变量,这里的/home/airflow可以替换成你想要的文件夹目录
export AIRFLOW_HOME=/home/airflow
永久修改环境变量
echo "export AIRFLOW_HOME=/home/airflow" >> /etc/profile
source /etc/profile
系统默认的配置文件是从airflow包的configuration.py文件中获取的，在设置了路径和airflow.cfg之后，配置将由airflow.cfg所替代。
修改默认数据库
找到配置文件
vi /home/airflow/airflow.cfg
修改sql配置
sql_alchemy_conn=mysql://root:FinanceR@localhost:3306/airflow
注意到，之前使用的mysql+driver://root:FinanceR@localhost:3306/airflow的方式是行不通的。
初始化服务器的数据库
airflow initdb
airflow webserver就可以开启后台管理界面，默认访问localhost:8080即可。
修改数据源配置
通过create按钮，添加相应的参数
解决中文字符集显示问题
注意到airflow的所有.py文件都声明了utf-8字符集
#-*-coding:utf-8-*- 如果需要显示中文，需要在extra选项中添加{"charset":"utf8"}的配置

本页网址：https://www.xinzhibang.net/article_detail-12202.html

寻求报道，请

关键词

分享至微信：

相关工具

Fronty

AI智能将图片转换成HTML和CSS代码

Cursor

AI编程和软件开发

Cody

Sourcegraph推出的免费AI编程工具

Tabnine

AI代码自动补全编程助手

Visual Studio IntelliCode

Visual Studio AI辅助开发

aiXcoder

自然语言到代码的方法级代码生成，以及多行智能代码补全

国产智能编码插件对比测试

引言今年百度、华为、阿里云都分别发布了对标GithubCopilot的智能编码插件，谁能成为平替GithubCopilot的国产工具呢？有句话说的好，“始于颜值，陷于才华”，所以今天主要为大家介绍一下各自插件的主要功能以及在IntelliJIDEA上的UI颜值，至于每个插件的“才华”，将在后续的文章

分类标签国产插件智能编码GithubCopilot

12-03 08:51

产品经理学SQL（二）一天学会用SQL解决业务查询问题（上篇）

产品经理学SQL（二）一天学会用SQL解决业务查询问题（上篇）本文为产品经理学习SQL的第二篇，讲述如何用SQL解决业务查询问题，包含上篇的内容。SQL是一种非常重要的数据处理语言，产品经理也需要掌握基本的SQL语法和使用方法。通过学习SQL，可以更好地理解数据，进而优化产品和业务，提高工作效率。本

分类标签产品经理SQL业务查询

10-28 08:00

IEEESpectrum发布2023年度编程语言榜单：Python连续八年名列前茅

IEEESpectrum发布2023年度编程语言榜单：Python连续八年名列前茅近日，IEEESpectrum重磅发布了2023年度编程语言榜单，揭晓了开发者使用编程语言的最新现状。该榜单结合了多个受欢迎度指标，如Google、StackOverflow、GitHub、IEEEXploreDigi

分类标签 IEEESpectrum编程语言榜单Python

10-14 03:08

MongoDB在数据处理中的应用

MongoDB在数据处理中的应用MongoDB是一种强大的NoSQL数据库，它在当今数据处理领域扮演着至关重要的角色。相比传统的关系型数据库，MongoDB引领着数据管理的新潮流，具有一些显著的优势。首先，MongoDB采用了灵活的文档存储格式，无需预定义表结构，使得数据存储和查询变得极为容易。其次

分类标签 MongoDBNoSQL数据管理

10-14 03:07

SQLFlow：使用SQL完成AI工作流构建的编译系统

什么是SQLFlow？ SQLFlow是一个使用SQL完成AI工作流构建的编译系统，可以连接多种数据库系统和机器学习引擎，完成从数据的抽取、预处理、模型训练、评估、预测、模型解释、运筹规划等工作流的构建。为什么要使用SQLFlow？使用SQL作为描述和构建AI任务的语言，可以降低构建AI应用的门

分类标签 SQLFlowAI工作流编译系统模型训练模型解释

10-01 02:36

MySQL从入门到精通实战课程推荐

课程介绍今天，CSDN要向你推荐一门适合所有程序员学习的课程：MySQL从入门到精通实战。根据《2019-2020年中国开发者调查报告》显示，超83%的开发者都在使用MySQL数据库。如果你常逛招聘网站，不难发现：几乎所有的岗位都要求会使用SQL。要是不会的话，即使其他编程语言再强，可能也找不到工作

分类标签 MySQL程序员课程

09-25 04:08

CodeArts智能代码补全-云社区-华为云

摘要：代码补全可以有效的提升开发效率、减少拼写错误和输入代码量。CodeArts依赖于codearts.smartassist-java-ls插件实现代码补全功能。本文分享自华为云社区《CodeArts智能代码补全-云社区-华为云》，作者：HuaweiCloud开发工具。代码补全类型主要有：关键字基

分类标签智能代码补全CodeArts华为云

09-23 09:38

AIXcoder：一款中规中矩的编码辅助工具

人工智能编码辅助工具的发展近几年，人工智能迅速发展，在各行各业都有所应用，特别是近两年，面向开发者的AI开发工具也是层出不穷，从这些工具中，我们看到了AI能为开发者带来的无限可能性。本系列文章主要介绍国外的Kite、Codota、TabNine、GitHubCopilot、微软IntelliCod

分类标签人工智能编码辅助工具AIXcoder

09-20 03:14

用DBeaver作为开源的数据库工具

缘起最近Ai不是大火么，想着自己也弄一些开源的框架来捣腾一下。手上用着Mac，但Mac都没有显卡的，对于学习Ai训练模型不方便，所以最近新购入了一台4090的拯救者，打算用来好好学习一下Ai（呸，以上都是理由，其实都是忽悠老婆的，真实情况是为了打游戏哈哈）。用了几天后，发现还挺香，速度比我的Mac笔

分类标签 DBeaver开源数据库工具

09-18 19:26

实用的AI数据分析工具推荐

实用的AI数据分析工具推荐工欲善其事，必先利其器。说起来道理大家都懂，殊不知一款好的数据分析工具可以让你事半功倍，瞬间提高工作效率。今天就来和大家分享几个AI数据分析工具，可以用来生成Excel公式、解释公式、编写SQL代码，以及上传数据表进行智能分析等功能。第一个工具是RathbyKanarie，

分类标签 AI数据分析工具RathbyKanarieSQLkiller-AISlopedAmnetDigital工具AI

09-18 19:24

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway