云音乐数据治理实践

新知榜官方账号

2023-09-24 23:14:35

数据背景

云音乐在过去九年中发布过九款独立的产品，包括国内产品和海外产品。所有产品的数据支撑都在数仓开发部门。在这个背景下，我们从多个角度对数据现状进行了分析。

规模上，目前承载的产品有九个，线上正在调度的任务有2万个以上，表数量有5万多张。
成本方面，日存储量有80多PB，存储费用在19万以上，计算方面日常调度的任务成本是27万。
质量方面，之前在核心时段的资源水位是非常高的，在95%以上，对整体基线运维造成了比较大的风险。
效率上，存在着资源效率，以及小文件等问题。另外，由于前期数仓建设内容推广覆盖的不到位，存在大量的任务直接去读ODS原表，特别是对于日志数据存在大量的小需求，耗费资源。
环境方面，目前国内我们有五套Hadoop集群，海外包括AWS和阿里云。总体来讲，目前数据面临的问题是：体量大、环境杂、缺规范和资源浪费。

治理思路

在数据背景下，我们明确了治理方向：获取到完整准确的元数据信息，只有这样才能进行有效的数据治理。治理过程中，从技术视角来看，数据内容的分布情况如上图所示。随着业务的快速发展，数仓的不断迭代，每块内容可能或者必然存在着哪些问题。所有的问题都指向了同一个方向，就是我们要获取到完整准确的元数据信息，只有这样才能进行有效的数据治理。

治理方案

从元数据出发，我们从猛犸平台上获得了比较完备的元数据信息，包括表的元数据信息，以及任务的元数据信息。基于这些元素信息进行数据建模，在CDM层产出了比较丰富的模型，可以从各种视角看到整个资产的情况，以及模型设计健康度的情况。整个元数据建模支撑了云音乐的整个数据治理体系。

治理实践

在治理实践中，首先要做的就是权责有归属。所有的数据、表和任务都应该有具体的责任人对其负责，这样在发现问题时才能找到具体的人去进行处理。在推进过程中，面临的问题是具体要做的治理事项需要覆盖到不同的团队或者不同的部门去执行，而且每个具体事项的治理动作也是多元化的，不同业务团队以及不同人的认知以及能力、精力的投入都是不一样。因此，我们统一建立了一个通用的推进机制，以及一个通用的治理原则。在具体实践中，我们进行了各个方面的治理，包括游离HDFS文件治理、库治理、表治理、三度指标治理和计算治理等。通过治理，我们取得了成本收益、治理资产沉淀和数仓开发规范沉淀等多方面的成果。

未来规划

数据治理是一个长期而且持续要做的事情。在治理的过程中，我们将从分散到集约、从被动到主动到自动、从经验到智能的治理理念。整个治理动作分为三部分，包括：事前、事中和事后。我们将继续推进数据治理的各项内容，包括预防性治理、治理监控指标工具落地、治理指引报告和数据开发规范等。

本页网址：https://www.xinzhibang.net/article_detail-13453.html

寻求报道，请

关键词

分享至微信：

相关工具

Resemble.ai

AI人声生成工具

网易天音

网易推出的AI音乐创作平台

LALAL.AI

AI人声乐器分离和提取

Listnr

AI文本到语音生成器

Notta

AI在线将语音转换成文字

FakeYou

Deep Fake文本转语音

AI音乐，网易云音乐的生产力与商业化思考

背景网易云音乐是一家流媒体平台，旨在为用户提供音乐产品。然而，由于音乐版权的掌控，流媒体平台处于议价弱势地位，难以获得更多收益。AI音乐对音乐产业的影响AI音乐是一种新兴的技术，可以辅助音乐人进行音乐创作和制作。AI音乐的出现，改变了传统的音乐创作方式，使得音乐制作更加自由和便捷。网易云音乐在AI音

分类标签网易云音乐AI音乐音乐产业生产力商业化

11-30 08:25

荣耀100系列发布会：网易云音乐联合荣耀推出AI智能配乐和音乐应用

11月23日，荣耀100系列产品发布会上，网易云音乐联合荣耀发布全新合作成果——AI智能配乐功能以及由网易云音乐深度定制的音乐应用。通过双方紧密合作和联合共创，将为荣耀手机用户带来更丰富、更悦耳的音乐体验。荣耀100系列产品发布会上，荣耀公司CEO赵明现场发布并演示了由网易云音乐和荣耀联合共创的AI

分类标签荣耀100系列AI智能配乐音乐应用

11-30 08:24

利用AI提高工作效率和赚钱效率

利用AI提高工作效率和赚钱效率现在AI、ChatGPT可以说是非常火，国内外也涌现了一大批AI聊天工具。最火的就是ChatGPT了，其他比如：国外:ChatGPT：可以说是最强AINotion：非常高效的写作软件AutoGPT：有人评价潜力不弱于ChatGPTClipdrop:图片设计神器midjo

分类标签 AIChatGPT工作效率赚钱

11-25 16:14

图片背景替换与物体智能擦除

图片背景替换与物体智能擦除随着现代图像编辑工具的不断发展，我们可以更方便地处理各类图片。但在一些情况下，过往拍摄的相片中可能会出现一些意外出现的物体或者背景元素，这些因素可能会影响到整个画面的美学效果，甚至妨碍了我们所传递的主题情感。为了解决这类困扰，我们推荐了几个杰出的图片背景置换及物体一键清除工

分类标签图片背景置换物体一键清除图像编辑工具

11-25 16:13

小冰公司与网易云音乐联手推出AI歌手音乐创作软件“网易云音乐·XStudio”

小冰公司与网易云音乐联手推出AI歌手音乐创作软件“网易云音乐·XStudio”小冰公司与网易云音乐宣布达成战略合作，双方联合推出的AI歌手音乐创作软件“网易云音乐·XStudio”已正式上线，面向广大音乐人和音乐爱好者免费使用。该软件是全球主流音乐平台与人工智能公司联手打造的首个同类产品。软件首发1

分类标签小冰公司网易云音乐AI歌手音乐创作软件

11-24 02:17

网易云音乐TV版全新升级，杜比全景声、超清母带等高品质音质助力家庭娱乐

音质升级助力家庭娱乐为了进一步满足用户对高品质音乐和个性化需求的追求，近日，网易云音乐针对TV版产品进行了重磅更新，将杜比全景声、超清母带、沉浸环绕声、高清臻音等高品质音质带到TV版产品上，让所有大屏用户在家中也能尽享音乐美好。据悉，9月22日-10月2日期间登录的用户即可享受限免体验。自成立以来，

分类标签网易云音乐TV版杜比全景声高品质音质家庭娱乐

11-24 02:16

QQ音乐和网易云音乐的吉他谱识别功能对比

背景学习过吉他之类的乐器的读者应该有过这样的困扰——在想学习自己喜欢的流行歌曲时，网上搜谱出来的结果良莠不齐，且要价不菲；在觉得自己可以听谱的时候，却发现耳朵并没有办法快速准确地分辨歌曲里的某个特定乐器的声音，最后只能不了了之。令人惊喜的是，近期《QQ音乐》上线了「查看曲谱」的功能，可以通过智能算法

分类标签 QQ音乐网易云音乐吉他谱识别功能流行歌曲曲谱库

11-24 02:15

网易云音乐与小冰XStudio联手推出AI歌手创作工具

网易云音乐与小冰XStudio联手推出AI歌手创作工具据IT之家11月18日消息，网易云音乐与小冰XStudio共同发布了AI歌手创作工具，推出了苹果和Windows两个版本。Windows支持Win10及以上，MacOS支持10.15及以上。用户可以从云端获取数十位歌手，只需要提供midi和歌词，

分类标签网易云音乐小冰XStudioAI歌手创作工具

11-24 02:13

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。东方之美，婉约而华贵的爱在现代社会中，这种东方之美依然在中国式的爱情中得以体现。例如

分类标签中国式浪漫婉约华贵传统现代融合

10-27 02:17

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。在现代社会中，这种东方之美依然在中国式的爱情中得以体现。例如，现代新人在婚礼上常常选

分类标签中国式浪漫爱情文化传承

10-21 09:06