V
主页
大数据科普系列:大数据框架引擎的发展史
发布人
离线计算框架 MapReduce:面向大数据并行处理的计算模型、框架和平台(将计算向数据靠拢、减少数据传输,这个设计思路非常巧妙)。 Hive:一个数据仓库工具,能管理HDFS存储的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能(实际运行时,是将Hive SQL翻译成了MapReduce任务),适用离线非实时数据分析。 Spark sql:引入RDD(弹性分布式数据集)这一特殊的数据结构,将SQL转换成RDD的计算,并将计算的中间结果放在内存中,因此相对于Hive性能更高,适用实时性要求较高的数据分析场景。 实时计算框架 Spark Streaming:实时流数据处理框架(按时间片分成小批次,s级延迟),可以接收Kafka、Flume、HDFS等数据源的实时输入数据,经过处理后,将结果保存在HDFS、RDBMS、HBase、Redis、Dashboard等地方。 Storm:实时流数据处理框架,真正的流式处理,每条数据都会触发计算,低延迟(ms级延迟)。 Flink:更高级的实时流数据处理框架,相比Storm,延迟比storm低,而且吞吐量更高,另外支持乱序和调整延迟时间。
打开封面
下载高清视频
观看高清视频
视频下载器
大数据科普系列:数据治理的主要工作是干啥子的呢?
大数据科普系列:什么是元数据?
大数据科普系列:什么是元数据?
看懂Transformer原理,大模型的实现过程基本就有个谱了,Sora底层也是这个玩意!
大数据科普系列,什么是数据处理(ETL)
大数据科普系列:搞懂这些专业术语,就算数据治理入门的啦!
大数据科普系列:老板, 让我做异常分析与检测
基于开源框架实现可扩展的数据解决方案——商用的大数据产品太贵,那就用开源的整合吧~
开源免费的RPA工具,从此消灭有规律的、批量的、重复性的工作!
学习国外的经验,什么是数字化转型?
大数据科普系列:学学国外的数据治理的经验
【咩啊】 台风来临时,大家的反应是...
数据质量,别光说不练!基于开源免费的框架。
南怀瑾谈犹太人,最后结果颠覆你的认知!
8小时快速入门Java Java快速入门
开源免费的BI工具Metabase体验测试,满足八成的数据报表和分析的需求
都怪大雷?深度解析王大雷在和日本队比赛中的扑救和丢球!!!
数据质量,别光说不练!基于开源免费的框架, 我开播了!
数据治理——说起来难,做起来更难哦~
数据要素X,都有哪些重点方向?准备起飞!
数据要素X规划来了,玩数据的饭碗要端好哦!
开源框架构整合的数据质量管理,你看咋样?
举个例子,说说数据质量(Data Quality)
玩数据的也应该拥抱人工智能(AI),工资高~ 也不难~
老板发飙: 数据指标不对,数据质量不好!问你怎么办?
基于开源的数据解决方案,构建自己的房子!
2024,用Excel给老板做一个数据分析的仪表盘吧
玩数据是一门手艺:2023年总结
这是这几天我想对大家说的话,这是我妹,但我想说的和她一样,所以我就不再另做视频了,谢谢大家的喜欢
哦,我的数字直播间...
安生立命还是养家糊口,玩数据的也搞直播啦!
S12更新后全新理解,六花仙自卫流卡特,极致的防御就是攻击!
PyEcharts生成数据分析报告系列:二维四象限
飞机居然能在跑步机上起飞?这是什么原理
数据治理之数据质量,边学边做实战系列--1
数据治理之数据质量,边学边做实战系列--2
时间蔷薇九五,把把无同行,学会轻松上大师
【塔罗文字传讯】72小时内将会发生的事情
如果数据治理是一门生意,怎么才能拿到项目的呢?
数据治理系列:基于AI和ML构建企业的数据质量管理(Data Quality)