什么是SQLFlow？

新知榜官方账号

2023-08-26 16:44:32

什么是SQLFlow？

SQLFlow是一个桥梁，使用TensorFlow和其它机器学习工具套件连接SQL引擎，例如MySQL、Hive、SparkSQL或SQLServer。SQLFlow扩充了SQL语言，以支援模型训练、预测和推断。

这个专案的开发动机当前基于机器学习的应用程序开发需要一个由资料工程师、资料科学家、业务分析师组成的团队，同时还需要大量的高阶语言和程式设计工具，如Python、SQL、SAS、SASS、Julia、R。工具和开发环境的碎片化给模型的训练/调整带来了额外的工程困难。

如果我们将最广泛使用的资料管理/处理语言SQL与机器学习/系统功能结合起来，让具有SQL技能的工程师开发基于机器学习的高阶应用程序会怎样？这个业界已经有一些工作在进行中。我们可以使用像DOTproduct这样的操作工具在SQL中编写简单的机器学习预测(或评分)演算法。但是，这需要将模型参数从训练程式复制到SQL语句。

在商业领域，我们看到一些专有的SQL引擎提供了支援机器学习能力的扩充套件。MicrosoftSQLServer有一个机器学习服务，可以执行R或Python语言的机器学习程序作为外部指令码(externalscript)。Teradata还提供一个RESTful服务，可以从扩充SQLSELECT语法呼叫该服务。透过引入CREATEMODEL语句来让GoogleBigQuery有机器学习的功能。

现有的解决方案都不能解决我们的问题，取而代之，我们希望它是完全可扩充的。此解决方案应该相容许多SQL引擎，而不是特定的版本或类型。它应该支援复杂的机器学习模型，包括用于深度学习的TensorFlow和xgboostfortrees。我们还希望能够灵活地配置和执行最新的机器学习演算法，包括指定featurecrosses，至少，SQL语句中没有内嵌Python或R程序码，并且完全使用超引数估计(hyperparameterestimation)。

以下是使用样本数据Iris.train训练TensorflowDNNClassifer模型，并使用训练模型运行预测的范例。您可以看到使用SQL编写一些优雅的机器学习代码有多酷：

sqlflow>SELECT*FROMiris.trainTRAINDNNClassifierWITHn_classes=3,hidden_units=[10,20]COLUMNsepal_length,sepal_width,petal_length,petal_widthLABELclassINTOsqlflow_models.my_dnn_model;...Trainingsetaccuracy:0.96721Donetraining

以下是使用样本数据Iris.test预测结果的范例：

sqlflow>SELECT*FROMiris.testPREDICTiris.predict.classUSINGsqlflow_models.my_dnn_model;...Donepredicting.Predicttable:iris.predict

本页网址：https://www.xinzhibang.net/article_detail-10428.html

寻求报道，请

关键词

SQLFlow TensorFlow 机器学习 SQL引擎

分享至微信：

相关工具

CodeSnippets

AI代码生成、补全、分析、重构和调试

Sketch2Code

微软AI Lab推出的将手绘草图转换成HTML代码工具

CodeArts Snap

华为云推出的智能编程助手

aiXcoder

自然语言到代码的方法级代码生成，以及多行智能代码补全

Visual Studio IntelliCode

Visual Studio AI辅助开发

Codeium

AI代码生成和补全

国产智能编码插件对比测试

引言今年百度、华为、阿里云都分别发布了对标GithubCopilot的智能编码插件，谁能成为平替GithubCopilot的国产工具呢？有句话说的好，“始于颜值，陷于才华”，所以今天主要为大家介绍一下各自插件的主要功能以及在IntelliJIDEA上的UI颜值，至于每个插件的“才华”，将在后续的文章

分类标签国产插件智能编码GithubCopilot

12-03 08:51

产品经理学SQL（二）一天学会用SQL解决业务查询问题（上篇）

产品经理学SQL（二）一天学会用SQL解决业务查询问题（上篇）本文为产品经理学习SQL的第二篇，讲述如何用SQL解决业务查询问题，包含上篇的内容。SQL是一种非常重要的数据处理语言，产品经理也需要掌握基本的SQL语法和使用方法。通过学习SQL，可以更好地理解数据，进而优化产品和业务，提高工作效率。本

分类标签产品经理SQL业务查询

10-28 08:00

IEEESpectrum发布2023年度编程语言榜单：Python连续八年名列前茅

IEEESpectrum发布2023年度编程语言榜单：Python连续八年名列前茅近日，IEEESpectrum重磅发布了2023年度编程语言榜单，揭晓了开发者使用编程语言的最新现状。该榜单结合了多个受欢迎度指标，如Google、StackOverflow、GitHub、IEEEXploreDigi

分类标签 IEEESpectrum编程语言榜单Python

10-14 03:08

MongoDB在数据处理中的应用

MongoDB在数据处理中的应用MongoDB是一种强大的NoSQL数据库，它在当今数据处理领域扮演着至关重要的角色。相比传统的关系型数据库，MongoDB引领着数据管理的新潮流，具有一些显著的优势。首先，MongoDB采用了灵活的文档存储格式，无需预定义表结构，使得数据存储和查询变得极为容易。其次

分类标签 MongoDBNoSQL数据管理

10-14 03:07

SQLFlow：使用SQL完成AI工作流构建的编译系统

什么是SQLFlow？ SQLFlow是一个使用SQL完成AI工作流构建的编译系统，可以连接多种数据库系统和机器学习引擎，完成从数据的抽取、预处理、模型训练、评估、预测、模型解释、运筹规划等工作流的构建。为什么要使用SQLFlow？使用SQL作为描述和构建AI任务的语言，可以降低构建AI应用的门

分类标签 SQLFlowAI工作流编译系统模型训练模型解释

10-01 02:36

MySQL从入门到精通实战课程推荐

课程介绍今天，CSDN要向你推荐一门适合所有程序员学习的课程：MySQL从入门到精通实战。根据《2019-2020年中国开发者调查报告》显示，超83%的开发者都在使用MySQL数据库。如果你常逛招聘网站，不难发现：几乎所有的岗位都要求会使用SQL。要是不会的话，即使其他编程语言再强，可能也找不到工作

分类标签 MySQL程序员课程

09-25 04:08

CodeArts智能代码补全-云社区-华为云

摘要：代码补全可以有效的提升开发效率、减少拼写错误和输入代码量。CodeArts依赖于codearts.smartassist-java-ls插件实现代码补全功能。本文分享自华为云社区《CodeArts智能代码补全-云社区-华为云》，作者：HuaweiCloud开发工具。代码补全类型主要有：关键字基

分类标签智能代码补全CodeArts华为云

09-23 09:38

AIXcoder：一款中规中矩的编码辅助工具

人工智能编码辅助工具的发展近几年，人工智能迅速发展，在各行各业都有所应用，特别是近两年，面向开发者的AI开发工具也是层出不穷，从这些工具中，我们看到了AI能为开发者带来的无限可能性。本系列文章主要介绍国外的Kite、Codota、TabNine、GitHubCopilot、微软IntelliCod

分类标签人工智能编码辅助工具AIXcoder

09-20 03:14

用DBeaver作为开源的数据库工具

缘起最近Ai不是大火么，想着自己也弄一些开源的框架来捣腾一下。手上用着Mac，但Mac都没有显卡的，对于学习Ai训练模型不方便，所以最近新购入了一台4090的拯救者，打算用来好好学习一下Ai（呸，以上都是理由，其实都是忽悠老婆的，真实情况是为了打游戏哈哈）。用了几天后，发现还挺香，速度比我的Mac笔

分类标签 DBeaver开源数据库工具

09-18 19:26

实用的AI数据分析工具推荐

实用的AI数据分析工具推荐工欲善其事，必先利其器。说起来道理大家都懂，殊不知一款好的数据分析工具可以让你事半功倍，瞬间提高工作效率。今天就来和大家分享几个AI数据分析工具，可以用来生成Excel公式、解释公式、编写SQL代码，以及上传数据表进行智能分析等功能。第一个工具是RathbyKanarie，

分类标签 AI数据分析工具RathbyKanarieSQLkiller-AISlopedAmnetDigital工具AI

09-18 19:24

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway