GPT奇点赋能大数据行业，不只是写SQL还有……——以数据全生命周期视角为例

新知榜官方账号

2023-07-04 22:02:47

1. 数据的生命周期

业务高速发展带动数据需求高涨，这与数据部门的应接能力之间存在博弈，这是摆在非天生数字化属性的行业的一道难题。理想中，业务需要的数据都有，都能找到，可以支持各种维度的解析和创新。而现实是，能用的数据有限（A），很多已经建设出来的数据，大家不认识，不敢用（B），多个雷同数据存在使得校对该用哪一个耗时耗力。很多沉睡数据，已经过时，占用着存储空间（D），使得数据存储成本连年上涨。缺失重要数据，需要排期开发（C）。

数据产生于业务各环节中，部分在online的业务系统中，另一部分散落在offline（比如，工厂），要将散落在各处的数据做好采集（人工录入、扫码、RFID），确保必要数据进入业务数据库中。之后，针对想做分析的数据，可以放入大数据平台的数仓中，通过数据集成工具，将结构化、非结构化多源异构数据汇聚到ODS层。根据数据建模方法，数据开发工程师做DWD和DWS层的加工建设，供业务的数据分析师使用（ADS层），做报表、配看板、提数等。为进一步提高数据消费效率，通过复用数据API的模式打通最后一公里，降低各系统分别对接的成本。针对一次性，或者长期不用的冷僵数据，做归档和删除处理，腾出宝贵的存储空间和计算资源。这套大数据平台，涉及平台管理能力，以及资产管理模块。而数据治理则横跨业务系统到数据平台的全生命周期中。

2. GPT介入后数据生命周期发生的变化

GPT打通大数据平台的数仓，以获取准确的元数据信息，这样在用户输入自然语言时，GPT能懂，并返回符合企业数据结构特征的结果。其次，GPT还具有coding的能力，所以当它跟企业内部各个系统打通后，还可以扩展能力，代替人，执行某些既定操作。下面，我们以大数据环境中，6个常见环节，GPT是如何辅助人类的逐一做拆解。

2.1 数据集成（聚）

GPT协助提效ETL：Extract-Transform-Load：抽取（extract）转换（transform）加载（load）目前的ETL工具较成熟（如：Kettle、Datastage、Informatica），数据开发人员可以通过输入和点击关键信息，自动生成调度任务，对于没有ETL工具的公司需要使用GPT。

2.2 数据开发&建模（养）

1）GPT代写SQL做数据建模和开发【前提】将表的元数据信息导给ElasticSearch，结合GPT与ElasticSearch服务，提高SQL生成结果的准确性。2）GPT代为配置数据质量监控告警【前提】GPT跟数据质量模块、调度模块、email、飞书等系统打通。

2.3 资产管理（治）

GPT代做冷僵数据归档和删除：【前提】GPT跟调度模块、资产管理模块、email、飞书等系统打通。

2.4 平台管理（管）

GPT代建权限申请流程：【前提】GPT跟低代码流程中心、大数据权限管理模块打通。

2.5 数据分析（用）

GPT代做“自助提数”：【前提】GPT跟权限（行列权限和加解密），安全审计能力打通。2、打通元数据，确保GPT生成SQL时，对表、字段的描述跟数仓保持一致，可以直接使用。

2.6 BI看板（用）

GPT生成“图表”：【前提】GTP跟图表生成工具打通。

3. 结论

大数据场景下向数字孪生方向的发展加快了步伐。GPT在数据集成、数据开发、资产管理、平台管理、数据分析、业务应用等环节中的作用，为数字化建设领域带来了一次“重生”的契机，同时也提升了效率，节约了人力投入。

本页网址：https://www.xinzhibang.net/article_detail-5517.html

寻求报道，请

关键词

GPT 大数据数据生命周期 AI SQL 数据开发

分享至微信：

相关工具

CodeSnippets

AI代码生成、补全、分析、重构和调试

Cody

Sourcegraph推出的免费AI编程工具

CodiumAI

AI代码测试工具

Tabnine

AI代码自动补全编程助手

AskCodi

你的个人AI编程助手

Fig

下一代命令行工具（内置AI终端命令自动补全）

国产智能编码插件对比测试

引言今年百度、华为、阿里云都分别发布了对标GithubCopilot的智能编码插件，谁能成为平替GithubCopilot的国产工具呢？有句话说的好，“始于颜值，陷于才华”，所以今天主要为大家介绍一下各自插件的主要功能以及在IntelliJIDEA上的UI颜值，至于每个插件的“才华”，将在后续的文章

分类标签国产插件智能编码GithubCopilot

12-03 08:51

产品经理学SQL（二）一天学会用SQL解决业务查询问题（上篇）

产品经理学SQL（二）一天学会用SQL解决业务查询问题（上篇）本文为产品经理学习SQL的第二篇，讲述如何用SQL解决业务查询问题，包含上篇的内容。SQL是一种非常重要的数据处理语言，产品经理也需要掌握基本的SQL语法和使用方法。通过学习SQL，可以更好地理解数据，进而优化产品和业务，提高工作效率。本

分类标签产品经理SQL业务查询

10-28 08:00

IEEESpectrum发布2023年度编程语言榜单：Python连续八年名列前茅

IEEESpectrum发布2023年度编程语言榜单：Python连续八年名列前茅近日，IEEESpectrum重磅发布了2023年度编程语言榜单，揭晓了开发者使用编程语言的最新现状。该榜单结合了多个受欢迎度指标，如Google、StackOverflow、GitHub、IEEEXploreDigi

分类标签 IEEESpectrum编程语言榜单Python

10-14 03:08

MongoDB在数据处理中的应用

MongoDB在数据处理中的应用MongoDB是一种强大的NoSQL数据库，它在当今数据处理领域扮演着至关重要的角色。相比传统的关系型数据库，MongoDB引领着数据管理的新潮流，具有一些显著的优势。首先，MongoDB采用了灵活的文档存储格式，无需预定义表结构，使得数据存储和查询变得极为容易。其次

分类标签 MongoDBNoSQL数据管理

10-14 03:07

SQLFlow：使用SQL完成AI工作流构建的编译系统

什么是SQLFlow？ SQLFlow是一个使用SQL完成AI工作流构建的编译系统，可以连接多种数据库系统和机器学习引擎，完成从数据的抽取、预处理、模型训练、评估、预测、模型解释、运筹规划等工作流的构建。为什么要使用SQLFlow？使用SQL作为描述和构建AI任务的语言，可以降低构建AI应用的门

分类标签 SQLFlowAI工作流编译系统模型训练模型解释

10-01 02:36

MySQL从入门到精通实战课程推荐

课程介绍今天，CSDN要向你推荐一门适合所有程序员学习的课程：MySQL从入门到精通实战。根据《2019-2020年中国开发者调查报告》显示，超83%的开发者都在使用MySQL数据库。如果你常逛招聘网站，不难发现：几乎所有的岗位都要求会使用SQL。要是不会的话，即使其他编程语言再强，可能也找不到工作

分类标签 MySQL程序员课程

09-25 04:08

CodeArts智能代码补全-云社区-华为云

摘要：代码补全可以有效的提升开发效率、减少拼写错误和输入代码量。CodeArts依赖于codearts.smartassist-java-ls插件实现代码补全功能。本文分享自华为云社区《CodeArts智能代码补全-云社区-华为云》，作者：HuaweiCloud开发工具。代码补全类型主要有：关键字基

分类标签智能代码补全CodeArts华为云

09-23 09:38

AIXcoder：一款中规中矩的编码辅助工具

人工智能编码辅助工具的发展近几年，人工智能迅速发展，在各行各业都有所应用，特别是近两年，面向开发者的AI开发工具也是层出不穷，从这些工具中，我们看到了AI能为开发者带来的无限可能性。本系列文章主要介绍国外的Kite、Codota、TabNine、GitHubCopilot、微软IntelliCod

分类标签人工智能编码辅助工具AIXcoder

09-20 03:14

用DBeaver作为开源的数据库工具

缘起最近Ai不是大火么，想着自己也弄一些开源的框架来捣腾一下。手上用着Mac，但Mac都没有显卡的，对于学习Ai训练模型不方便，所以最近新购入了一台4090的拯救者，打算用来好好学习一下Ai（呸，以上都是理由，其实都是忽悠老婆的，真实情况是为了打游戏哈哈）。用了几天后，发现还挺香，速度比我的Mac笔

分类标签 DBeaver开源数据库工具

09-18 19:26

实用的AI数据分析工具推荐

实用的AI数据分析工具推荐工欲善其事，必先利其器。说起来道理大家都懂，殊不知一款好的数据分析工具可以让你事半功倍，瞬间提高工作效率。今天就来和大家分享几个AI数据分析工具，可以用来生成Excel公式、解释公式、编写SQL代码，以及上传数据表进行智能分析等功能。第一个工具是RathbyKanarie，

分类标签 AI数据分析工具RathbyKanarieSQLkiller-AISlopedAmnetDigital工具AI

09-18 19:24

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway