天翼云数据湖探索-为您提供云端大数据计算分析服务
VIEW CONTENTS

天翼云数据湖探索-为您提供云端大数据计算分析服务

2022-1-18 17:31| 发布者: xtyly| 查看: 52| 评论: 0
摘要: 天翼云数据湖探索-为您提供云端大数据计算分析服务数据湖探索(Data Lake Insight)是兼容Apache Spark和Apache Flink 生态, 实现批流一体的Serverless大数据计算分析服务。数据湖探索支持多模引擎,企业仅需使用SQL ...
天翼云数据湖探索-为您提供云端大数据计算分析服务
数据湖探索(Data Lake Insight)是兼容Apache Spark和Apache Flink 生态, 实现批流一体的Serverless大数据计算分析服务。数据湖探索支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。

成为天翼云VIP客户免费试用天翼云数据湖探索,天翼云VIP客户免费申请注册地址:9i0i.cn/ctyun,天翼云VIP客户免费申请中文网址:天翼云VIP注册.来吧.我爱你


天翼云数据湖探索具有如下优势:

数据湖探索完全兼容Apache Spark、Apache Flink生态和接口,是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云,减少迁移工作量。采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。产品内核及架构深度优化,综合性能是传统MapReduce模型的百倍以上,SLA保障99.95%可用性。存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。

图1 DLI Serverless架构

 

与传统自建Hadoop集群相比,Serverless架构的数据湖探索还具有以下优势:

表1 数据湖探索与传统自建Hadoop集群对比的优势

优势

维度

数据湖探索

自建Hadoop系统

低成本

资金成本

按照实际扫描数据量或者CU时收费,可变成本,成本可节约50%

长期占用资源,资源浪费严重,成本高。

弹性扩缩容能力

基于容器化Kubernetes,具有极致的弹性伸缩能力。

无。

免运维

运维成本

即开即用,Serverless架构。

需要较强的技术能力进行搭建、配置、运维。

高可用

具有跨AZ容灾能力。

高易用

学习成本

学习成本低,包含10年、上千个项目经验固化的调优参数。同时提供可视化智能调优界面。

学习成本高,需要了解上百个调优参数。

支持数据源

  • 云上:OBSRDS数据仓库云搜索MongoDBRedis
     
  • 云下:自建数据库、MongoDBRedis
     
  • 云上:OBS
     
  • 云下:HDFS
     

生态兼容

DLVTableauSuperset、永洪BI、帆软。

大数据生态工具。

自定义镜像

支持,满足业务多样性。

无。

工作流调度

DGC-DLF调度。

自建大数据生态的调度工具,如Airflow

企业级多租户

基于表的权限管理,可以精细化到列权限。

基于文件的权限管理。

高性能

性能

基于软硬件一体化的深度垂直优化。

大数据开源版本性能。

 

数据湖探索具有如下应用场景:

海量日志分析

游戏运营数据分析

游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解游戏当前状态及后续响应活动措施;投放部门通过平台获取新增玩家、活跃玩家的渠道来源,来决定下一周期重点投放哪些平台。

优势

o 高效的Spark编程模型:使用Spark Streaming直接从DIS中获取数据,进行数据清理等预处理操作。只需编写处理逻辑,无需关心多线程模型。

o 简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。

o 按需计费:日志分析按实效性要求按周期进行调度,每次调度之间存在大量空闲期。数据湖探索按需计费只在使用期间收费,成本较独占队列降低50%以上。

 

异构数据源联邦分析

车企数字化服务转型

面临市场新的竞争压力及出行服务不断变革,车企通过构建车联云平台和车机OS,将互联网应用与用车场景打通,完成车企数字化服务转型,从而为车主提供更好的智联出行体验,增加车企竞争力,促进销量增长。例如:通过对车辆日常指标数据(电池、发动机,轮胎胎压、安全气囊等健康状态)的采集和分析,及时将维保建议回馈给车主。

优势

o 多源数据分析免搬迁:关系型数据库RDS中存放车辆和车主基本信息,表格存储CloudTable中存放实时的车辆位置和健康状态信息,数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁,对多数据源进行联邦分析。

o 数据分级存储:车企需要保留全量历史数据支撑审计类等业务,低频进行访问。温冷数据存放在低成本的对象存储服务OBS上,高频访问的热数据存放在数据引擎中,降低整体存储成本。

o 告警快速敏捷触发服务器弹性伸缩:对CPU、内存、硬盘空间和带宽无特殊要求。

成为天翼云VIP客户免费试用天翼云数据湖探索,天翼云VIP客户免费申请注册地址:9i0i.cn/ctyun,天翼云VIP客户免费申请中文网址:天翼云VIP注册.来吧.我爱你


鲜花

握手

雷人

路过

鸡蛋
腾讯云服务器优惠

相关阅读

最新评论




在线客服(工作时间:9:00-22:00)
400-600-6565

内容导航

zuntop公众号

Copyright   ©2015-2019  尊托云数  Powered by©Discuz!  技术支持:尊托网络     ( 湘ICP备15009499号-1 )