欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

哎哟~404了~休息一下,下面的文章你可能很感兴趣:

Spark

OpenCloud 2015大会PPT资料免费下载[Spark篇]

OpenCloud 2015大会PPT资料免费下载[Spark篇]
  由CSDN主办OpenCloud 2015大会于4月16日-18日在国家会议中心成功举办。“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会”三大峰会及三场深度行业实战培训赢得了讲师和听众们高度认可,40余位一线专家的深度主题演讲赢得阵阵掌声。  2015 spark技术峰会.pushed{color:#f60;}时间议题演讲者09:

w397090770   9年前 (2015-04-28) 7517℃ 0评论2喜欢

大数据

2015年中国大数据技术大会PPT百度网盘下载

2015年中国大数据技术大会PPT百度网盘下载
  2015年中国大数据技术大会已经圆满落幕,本届大会历时三天(2015-12-10~2015-12-12),以更加国际化的视野,从政策法规、技术实践和产业应用等角度深入探讨大数据落地后的挑战,作为大数据产业界、科技界与政府部门密切合作的重要平台,吸引了数千名大数据技术爱好者到场参会。  本届大会邀请了近百余位国内外顶尖的

w397090770   8年前 (2015-12-18) 5441℃ 0评论11喜欢

前端框架

阿里巴巴矢量图标库:Iconfont

阿里巴巴矢量图标库:Iconfont
  相关图标矢量字库:《Font Awesome:图标字体》、《阿里巴巴矢量图标库:Iconfont》  Iconfont.cn是由阿里巴巴UX部门推出的矢量图标管理网站,也是国内首家推广Webfont形式图标的平台。网站涵盖了1000多个常用图标并还在持续更新中(目前加上用户上传的图标近70000个,我们可以通过搜索来找到他们。)。、  Iconfont平台为用

w397090770   9年前 (2015-02-26) 29035℃ 0评论27喜欢

Hadoop

Apache Hadoop 2.3.0三大重要的提升

Apache Hadoop 2.3.0三大重要的提升
  hadoop更新实在是太快了,现在已经更新到Hadoop-2.3.0版本(2014-02-11)。看了一下文档,和之前Hadoop-2.2.0的文档大部分类似,这篇文章主要是翻译一下Hadoop-2.3.0的文档。  Apache Hadoop 2.3.0和之前的Hadoop-1.x稳定版有了很大的提升。本篇文章主要是简要说说Hadoop 2.3.0中的HDFS和Mapreduce的提升(4、5两个特性是Hadoop2.x开始就支持的)。

w397090770   10年前 (2014-02-26) 7567℃ 2评论2喜欢

资料分享

SQL Joins可视化解释

SQL Joins可视化解释
  SQL Join对于初学者来说是比较难得,Join语法有很多inner的,有outer的,有left的,有时候,对于Select出来的结果集是什么样子有点不是很清楚。下图可以帮助初学者理解它。

w397090770   8年前 (2016-04-09) 28708℃ 0评论3喜欢

Spark

一条 SQL 在 Apache Spark 之旅(下)

一条 SQL 在 Apache Spark 之旅(下)
终于到最后一篇了,我们在前面两篇文章中《一条 SQL 在 Apache Spark 之旅(上)》 和 《一条 SQL 在 Apache Spark 之旅(中)》 介绍了 Spark SQL 之旅的 SQL 解析、逻辑计划绑定、逻辑计划优化以及物理计划生成阶段,本文我们将继续接上文,介绍 Spark SQL 的全阶段代码生成以及最后的执行过程。全阶段代码生成阶段 - WholeStageCodegen前面

w397090770   5年前 (2019-06-19) 8628℃ 0评论17喜欢

Hadoop

Hive0.11.0的新特性

Hive0.11.0的新特性
  1、新增"Explain dependency"语法,以json格式输出执行语句会读取的input table和input partition信息,这样debug语句会读取哪些表就很方便了[code lang="JAVA"]hive> explain dependency select count(1) from p;OK{"input_partitions":[{"partitionName":"default@p@stat_date=20110728/province=bj"},{"partitionName":"default@p@stat_date=20110728/provinc

w397090770   11年前 (2013-11-04) 7493℃ 2评论4喜欢

Spark

每个 Spark 开发者都应该知道的开发技巧

每个 Spark 开发者都应该知道的开发技巧
尽量不要把数据 collect 到 Driver 端如果你的 RDD/DataFrame 非常大,drive 端的内存无法放下所有的数据时,千万别这么做[code lang="scala"]data = df.collect()[/code]Collect 函数会尝试将 RDD/DataFrame 中所有的数据复制到 driver 端,这时候肯定会导致 driver 端的内存溢出,然后进程出现 crash。如果想及时了解Spark、Hadoop或者HBase相关的文章,

w397090770   4年前 (2020-06-23) 680℃ 0评论3喜欢

Hadoop

Hadoop优化与调整

Hadoop优化与调整
io.file.buffer.size  hadoop访问文件的IO操作都需要通过代码库。因此,在很多情况下,io.file.buffer.size都被用来设置缓存的大小。不论是对硬盘或者是网络操作来讲,较大的缓存都可以提供更高的数据传输,但这也就意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数,以byte为单位,默认值是4KB,一般情况下,可以

w397090770   10年前 (2014-04-01) 30099℃ 2评论14喜欢

Mysql

Spark读取数据库(Mysql)的四种方式讲解

Spark读取数据库(Mysql)的四种方式讲解
  目前Spark支持四种方式从数据库中读取数据,这里以Mysql为例进行介绍。一、不指定查询条件  这个方式链接MySql的函数原型是:[code lang="scala"]def jdbc(url: String, table: String, properties: Properties): DataFrame[/code]  我们只需要提供Driver的url,需要查询的表名,以及连接表相关属性properties。下面是具体例子:[code lang="scala"

w397090770   8年前 (2015-12-28) 37601℃ 1评论61喜欢

Flink

Apache Flink 1.2.1正式发布

Apache Flink 1.2.1正式发布
经过一个多月的投票,Apache Flink 1.2.1终于正式发布了。看这个版本就知道,Apache Flink 1.2.1仅仅是对 Flink 1.2.0进行一些Bug修复,不涉及重大的新功能。推荐所有的用户升级到Apache Flink 1.2.1。大家可以在自己项目的pom.xml文件引入以下依赖:[code lang="xml"]<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</art

w397090770   7年前 (2017-05-04) 1619℃ 0评论6喜欢

电子书

[电子书]Learning Spark Streaming PDF下载

[电子书]Learning Spark Streaming PDF下载
本书书名全名:Learning Spark Streaming:Best Practices for Scaling and Optimizing Apache Spark,于2017-06由 O'Reilly Media出版,作者 Francois Garillot, Gerard Maas,全书300页。本文提供的是本书的预览版。关注大数据猿(bigdata_ai)公众号及时获取最新大数据相关电子书、资讯等通过本书你将学到以下知识Understand how Spark Streaming fits in the big pictureLearn c

zz~~   7年前 (2017-10-18) 6350℃ 0评论20喜欢

行业资讯

IndexR:千亿级别的实时分析数据库

IndexR:千亿级别的实时分析数据库
背景  舜飞科技的各个业务线对接全网的各大媒体及APP,从而产生大量数据,实时分析这些数据不仅仅用于监控业务的发展,还会影响产品的服务质量,直接创造价值。比如优化师要时刻关注活动的投放质量,竞价算法会根据投放数据实时调整策略,网站主会进行流量分析和快速事故反馈等等。这些分析需求的特点:  1

w397090770   7年前 (2017-01-03) 4600℃ 0评论6喜欢

phantomjs

Linux平台下安装PhantomJS

Linux平台下安装PhantomJS
  PhantomJS是一个基于WebKit的服务器端JavaScript API,它基于BSD开源协议发布。PhantomJS无需浏览器即可实现对Web的支持,且原生支持各种Web标准,如DOM处理、JavaScript、CSS选择器、JSON、Canvas和可缩放矢量图形SVG。PhantomJS主要是通过JavaScript和CoffeeScript控制WebKit的CSS选择器、可缩放矢量图形SVG和HTTP网络等各个模块。PhantomJS主要支持Windows、M

w397090770   8年前 (2016-04-29) 4063℃ 0评论5喜欢

Spark

Spark多文件输出(MultipleOutputFormat)

Spark多文件输出(MultipleOutputFormat)
  在本博客的《Hadoop多文件输出:MultipleOutputFormat和MultipleOutputs深究(一)》《Hadoop多文件输出:MultipleOutputFormat和MultipleOutputs深究(二)》两篇文章中我介绍了如何在Hadoop中根据Key或者Value的不同将属于不同的类型记录写到不同的文件中。在里面用到了MultipleOutputFormat这个类。  因为Spark内部写文件方式其实调用的都是Hadoop那一套东

w397090770   9年前 (2015-03-11) 20932℃ 19评论17喜欢

Scala

如何对Scala中集合(Collections)进行排序

如何对Scala中集合(Collections)进行排序
  下面是一系列对Scala中的Lists、Array进行排序的例子,数据结构的定义如下:[code lang="scala"]// data structures working withval s = List( "a", "d", "F", "B", "e")val n = List(3, 7, 2, 1, 5)val m = Map( -2 -> 5, 2 -> 6, 5 -> 9, 1 -> 2, 0 -> -16, -1 -> -4)[/code]  利用Scala内置的sorted

w397090770   10年前 (2014-11-07) 25794℃ 0评论23喜欢

Akka

Akka学习笔记:ActorSystem(调度)

Akka学习笔记:ActorSystem(调度)
Akka学习笔记系列文章:《Akka学习笔记:ACTORS介绍》《Akka学习笔记:Actor消息传递(1)》《Akka学习笔记:Actor消息传递(2)》  《Akka学习笔记:日志》《Akka学习笔记:测试Actors》《Akka学习笔记:Actor消息处理-请求和响应(1) 》《Akka学习笔记:Actor消息处理-请求和响应(2) 》《Akka学习笔记:ActorSystem(配置)》《Akka学习笔记

w397090770   10年前 (2014-10-22) 19099℃ 3评论14喜欢

Hadoop

如何从根源上解决 HDFS 小文件问题

如何从根源上解决 HDFS 小文件问题
我们知道,HDFS 被设计成存储大规模的数据集,我们可以在 HDFS 上存储 TB 甚至 PB 级别的海量数据。而这些数据的元数据(比如文件由哪些块组成、这些块分别存储在哪些节点上)全部都是由 NameNode 节点维护,为了达到高效的访问, NameNode 在启动的时候会将这些元数据全部加载到内存中。而 HDFS 中的每一个文件、目录以及文件块,

w397090770   6年前 (2018-10-09) 9180℃ 2评论31喜欢

Hive

用Maven编译Spark 1.1.0

用Maven编译Spark 1.1.0
  Spark 1.1.0已经在前几天发布了(《Spark 1.1.0发布:各个模块得到全面升级》、《Spark 1.1.0正式发布》),本博客对Hive部分进行了部分说明:《Spark SQL 1.1.0和Hive的兼容说明》、《Shark迁移到Spark 1.1.0 编程指南》,在这个版本对Hive的支持更加完善了,如果想在Spark SQL中加入Hive,并加入JDBC server和CLI,我们可以在编译的时候通过加上参

w397090770   10年前 (2014-09-17) 18454℃ 8评论10喜欢

Spark

Apache Spark 完全替代传统数仓的技术挑战及实践

Apache Spark 完全替代传统数仓的技术挑战及实践
系统介绍我们这个系统的名字叫 Carmel,它是基于开源的 Hadoop 和 Spark 来替换传统的数据仓库,我们是 2019 年开始做我们这个项目的,当时是基于 Spark 2.3.1,最近刚刚升到 Spark 3.0。面临的主要技术挑战,第一个是功能方面的缺失,包括访问控制,还有一些 Update 和 Delete 的支持;在性能方面跟传统数仓,特别是交互式的分析查询中性

zz~~   3年前 (2021-09-24) 578℃ 0评论2喜欢

Hadoop

Uber 大数据平台的演进(2014~2019)

Uber 大数据平台的演进(2014~2019)
Uber 致力于在全球市场上提供更安全,更可靠的运输服务。为了实现这一目标,Uber 在很大程度上依赖于数据驱动的决策,从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈。自2014年以来,Uber 一直致力于开发大数据解决方案,确保数据可靠性,可扩展性和易用性;现在 Uber 正专注于提高他们平

w397090770   5年前 (2019-06-06) 3210℃ 0评论8喜欢

Flink

Apache Flink 1.1.3正式发布

Apache Flink 1.1.3正式发布
  Apache Flink 1.1.3仍然在Flink 1.1系列基础上修复了一些Bug,推荐所有用户升级到Flink 1.1.3,只需要在你相关工程的pom.xml文件里面加入以下依赖:[code lang="xml"]<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.1.3</version></dependency><dependency> <groupId>org.apache

w397090770   8年前 (2016-10-16) 1558℃ 0评论5喜欢

Delta Lake

深入理解 Delta Lake 的 DML 实现原理 (Update, Delete, Merge)

深入理解 Delta Lake 的 DML 实现原理 (Update, Delete, Merge)
Delta Lake 支持 DML 命令,包括 DELETE, UPDATE, 以及 MERGE,这些命令简化了 CDC、审计、治理以及 GDPR/CCPA 工作流等业务场景。在这篇文章中,我们将演示如何使用这些 DML 命令,并会介绍这些命令的后背实现,同时也会介绍对应命令的一些性能调优技巧。Delta Lake: 基本原理如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信

w397090770   4年前 (2020-10-12) 1265℃ 0评论0喜欢

ElasticSearch

elasticsearch:Could not initialize class org.elasticsearch.common.xcontent.smile.SmileXContent

elasticsearch:Could not initialize class org.elasticsearch.common.xcontent.smile.SmileXContent
最近使用ElasticSearch的时候遇到以下的异常[code land="bash"]2017-07-27 16:06:48.482 MessageHandler - message process error: java.lang.NoClassDefFoundError: Could not initialize class org.elasticsearch.common.xcontent.smile.SmileXContent at org.elasticsearch.common.xcontent.XContentFactory.contentBuilder(XContentFactory.java:124) ~[elasticsearch-2.3.4.jar:2.3.4] at org.elasticsearch.action.support.ToX

w397090770   7年前 (2017-07-27) 8535℃ 0评论13喜欢

Apache Pulsar

Mastering Apache Pulsar 下载

Mastering Apache Pulsar 下载
《Mastering Apache Pulsar》于 2021年12月由 O'Reilly Media 出版, ISBN 为 9781492084907 ,全书 227 页。如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop图书介绍Every enterprise application creates data, including log messages, metrics, user activity, and outgoing messages. Learning how to move these items is almost as important as the data itself. If

w397090770   2年前 (2022-03-22) 387℃ 0评论0喜欢

Kafka

Kafka设计解析:Kafka性能测试方法及Benchmark报告

Kafka设计解析:Kafka性能测试方法及Benchmark报告
摘要  本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告。性能测试及集群监控工具  Kafka提供了非常多有用的工具,如Kafka设计解析(三)- Kafka High Availability (下)中提到的运维类工具——Partition Reassign Tool,Prefe

w397090770   8年前 (2015-12-31) 4422℃ 1评论6喜欢

Kafka

图解Apache Kafka消息偏移量的演变(0.7.x~0.10.x)

图解Apache Kafka消息偏移量的演变(0.7.x~0.10.x)
我在《Apache Kafka消息格式的演变(0.7.x~0.10.x)》文章中介绍了 Kafka 几个版本的消息格式。仔细的同学肯定看到了在 MessageSet 中的 Message 都有一个 Offset 与之一一对应,本文将探讨 Kafka 各个版本对消息中偏移量的处理。同样是从 Kafka 0.7.x 开始介绍,并依次介绍到 Kafka 0.10.x,由于 Kafka 0.11.x 正在开发中,而且消息格式已经和之前版本大不

w397090770   7年前 (2017-08-16) 5013℃ 0评论16喜欢

Spark

如何优雅地终止正在运行的Spark Streaming程序

如何优雅地终止正在运行的Spark Streaming程序
  一直运行的Spark Streaming程序如何关闭呢?是直接使用kill命令强制关闭吗?这种手段是可以达到关闭的目的,但是带来的后果就是可能会导致数据的丢失,因为这时候如果程序正在处理接收到的数据,但是由于接收到kill命令,那它只能停止整个程序,而那些正在处理或者还没有处理的数据可能就会被丢失。那我们咋办?这里有两

w397090770   7年前 (2017-03-01) 8819℃ 1评论11喜欢

Hadoop

Hadoop小文件优化

Hadoop小文件优化
  先来了解一下Hadoop中何为小文件:小文件指的是那些文件大小要比HDFS的块大小(在Hadoop1.x的时候默认块大小64M,可以通过dfs.blocksize来设置;但是到了Hadoop 2.x的时候默认块大小为128MB了,可以通过dfs.block.size设置)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而HDFS的

w397090770   10年前 (2014-03-17) 15245℃ 1评论10喜欢

Spark

通过spark-redshift工具包读取Redshift上的表

通过spark-redshift工具包读取Redshift上的表
  Spark Data Source API是从Spark 1.2开始提供的,它提供了可插拔的机制来和各种结构化数据进行整合。Spark用户可以从多种数据源读取数据,比如Hive table、JSON文件、Parquet文件等等。我们也可以到http://spark-packages.org/(这个网站貌似现在不可以访问了)网站查看Spark支持的第三方数据源工具包。本文将介绍新的Spark数据源包,通过它我们

w397090770   9年前 (2015-10-21) 3756℃ 0评论4喜欢