欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

哎哟~404了~休息一下,下面的文章你可能很感兴趣:

Spark

Apache Spark 3.1.1 版本发布,众多新特性

Apache Spark 3.1.1 版本发布,众多新特性
Apache Spark 3.1.1 版本于美国当地时间2021年3月2日正式发布,这个版本继续保持使得 Spark 更快,更容易和更智能的目标,Spark 3.1 的主要目标如下:提升了 Python 的可用性;加强了 ANSI SQL 兼容性;加强了查询优化;Shuffle hash join 性能提升;History Server 支持 structured streaming注意,由于技术上的原因,Apache Spark 没有发布 3.1.0 版

w397090770   3年前 (2021-03-03) 2156℃ 0评论9喜欢

Mahout

用Maven编译Mahout工程

用Maven编译Mahout工程
一、前提条件  1、安装好Java JDK 1.6或以上版本;  2、安装好Apache Maven。  如果上述条件准备好之后,下面开始用Maven编译Mahout源码二、git一份Mahout源码  用下面的命令从 Mahout GitHub 仓库Git(如果你电脑没有安装Git软件,可以参照这个安装《Git安装》)一份代码到本地[code lang="JAVA"]git clone git@github.com:apache/mahout.git

w397090770   10年前 (2014-09-16) 6149℃ 0评论3喜欢

Flink

Flink SQL 在快手的扩展与实践

Flink SQL 在快手的扩展与实践
摘要:本文整理自快手实时计算团队技术专家张静、张芒在 Flink Forward Asia 2021 的分享。主要内容包括: Flink SQL 在快手功能扩展性能优化稳定性提升未来展望 一、Flink SQL 在快手 经过一年多的推广,快手内部用户对 Flink SQL 的认可度逐渐提高,今年新增的 Flink 作业中,SQL 作业达到了 60%,与去年相比有了一倍的提升,峰值吞吐

w397090770   2年前 (2022-02-18) 860℃ 0评论1喜欢

Spark

Spark 1.1.0正式发布

Spark 1.1.0正式发布
  我们期待已久的Spark 1.1.0在美国时间的9月11日正式发布了,官方发布的声明如下:We are happy to announce the availability of Spark 1.1.0! Spark 1.1.0 is the second release on the API-compatible 1.X line. It is Spark’s largest release ever, with contributions from 171 developers!This release brings operational and performance improvements in Spark core including a new implementation of the Spark

w397090770   10年前 (2014-09-12) 3764℃ 0评论2喜欢

Hadoop

Hadoop1.x程序升级到Hadoop2.x需要的依赖库

Hadoop1.x程序升级到Hadoop2.x需要的依赖库
  根据官方文档(Apache Hadoop MapReduce - Migrating from Apache Hadoop 1.x to Apache Hadoop 2.x:http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduce_Compatibility_Hadoop1_Hadoop2.html)所述,Hadoop2.x是对Hadoop1.x程序兼容的,由于Hadoop2.x对Hadoop1.x做了重大的结构调整,很多程序依赖库被拆分了,所以以前(Hadoop1.x)的依赖库不再可

w397090770   10年前 (2013-11-26) 9541℃ 3评论2喜欢

常用工具

Font Awesome:图标字体,完全CSS控制

Font Awesome:图标字体,完全CSS控制
  相关图标矢量字库:《Font Awesome:图标字体》、《阿里巴巴矢量图标库:Iconfont》  Font Awesome是一种web font,它包含了几乎所有常用的图标,比如Twitter、facebook等等。用户可以自定义这些图标字体,包括大小、颜色、阴影效果以及其它可以通过CSS控制的属性。它有以下的优点: 1、像矢量图形一样,可以无限放大 2、只

w397090770   10年前 (2014-08-20) 43988℃ 1评论115喜欢

ElasticSearch

ElasticSearch文档元数据(Metadata)

ElasticSearch文档元数据(Metadata)
  在Elasticsearch下,一个文档除了有数据之外,它还包含了元数据(Metadata)。每创建一条数据时,都会对元数据进行写入等操作,当然有些元数据是在创建mapping的时候就会设置,元数据在Elasticsearch下起到了非常大的作用。本文将对ElasticSearch中的元数据进行介绍,后续文章将分别对这些元数据进行解说。身份元数据(Identity meta-field

w397090770   8年前 (2016-08-28) 4422℃ 0评论4喜欢

Zookeeper

如何限制 zookeeper 的 transaction log 大小

如何限制 zookeeper 的 transaction log 大小
在 Zookeeper 中限制 transaction log 总大小主要有两种方法。如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop限制 Zookeeper Transaction Log 里面的事务条数默认情况下,在写入 snapCount(100000) 事务后,Zookeeper 事务日志将会切换。如果 Zookeeper 的数据目录的空间不足与存储三个版本的 Zookeeper Transaction Lo

w397090770   3年前 (2020-10-28) 603℃ 0评论1喜欢

Spark

Apache Spark 2.4 内置的 Avro 数据源介绍

Apache Spark 2.4 内置的 Avro 数据源介绍
Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统,尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.4 版本开始,Spark 为读取和写入 Avro 数据提供内置支持。新的内置 spark-avro 模块最初来自 Databricks 的开源项目Avro Data Source for Apache Spark。除此之外,它还提供以下功能:新函数 from_avro() 和 to_avro()

w397090770   5年前 (2018-12-11) 3006℃ 0评论9喜欢

Linux

在fedora里面安装BerkeleyDB数据库

在fedora里面安装BerkeleyDB数据库
一、首先到oracle的官网下载Berkeley db数据库源文件下载地址http://download.oracle.com/otn/berkeley-db/db-5.3.15.tar.gz二、下载之后的文件是一个打包好的文件,需要在命令行里面利用tar来解压(当然你也可以利用一些可视化工具来解压),步骤如下在命令行里面输入[code lang="CPP"] tar -zxvf db-5.3.15.tar.gz[/code]解压之后进入db-5.3.15目录有以下

w397090770   11年前 (2013-04-04) 3880℃ 0评论0喜欢

其他

程序员都应该了解的日历计法:儒略历、格里历和外推格里历

程序员都应该了解的日历计法:儒略历、格里历和外推格里历
儒略历(Julian calendar)儒略历,是格里历(Gregorian calendar)的前身,由罗马共和国独裁官儒略·凯撒采纳埃及亚历山大的希腊数学家兼天文学家索西琴尼计算的历法,在公元前45年1月1日起执行,取代旧罗马历历法的历法。一年设12个月,大小月交替,四年一闰,平年365日,闰年于二月底增加一闰日,年平均长度为365.25日。因为1月1

w397090770   4年前 (2020-04-16) 3649℃ 0评论10喜欢

Hadoop

使用CombineFileInputFormat来优化Hadoop小文件

使用CombineFileInputFormat来优化Hadoop小文件
我们都知道,HDFS设计是用来存储海量数据的,特别适合存储TB、PB量级别的数据。但是随着时间的推移,HDFS上可能会存在大量的小文件,这里说的小文件指的是文件大小远远小于一个HDFS块(128MB)的大小;HDFS上存在大量的小文件至少会产生以下影响:消耗NameNode大量的内存延长MapReduce作业的总运行时间如果想及时了解Spar

w397090770   7年前 (2017-04-25) 6549℃ 1评论18喜欢

Spark

[电子书]Machine Learning with Spark PDF下载

[电子书]Machine Learning with Spark PDF下载
  本书介绍了用作各种机器学习模型输入的数据集加载和处理的Spark API的基础知识。书中有详细的示例和现实世界的用例,并探索常见的机器学习模型,包括推荐系统,分类,回归,聚类和降维。最后涵盖了一些高级主题,如使用大规模文本数据以及使用Spark Streaming进行在线机器学习和模型评估的方法。通过本书将学习到以下

w397090770   7年前 (2017-02-12) 2631℃ 0评论4喜欢

Hadoop

HDFS 块和 Input Splits 的区别与联系(源码版)

HDFS 块和 Input Splits 的区别与联系(源码版)
在 《HDFS 块和 Input Splits 的区别与联系》 文章中介绍了HDFS 块和 Input Splits 的区别与联系,其中并没有涉及到源码级别的描述。为了补充这部分,这篇文章将列出相关的源码进行说明。看源码可能会比直接看文字容易理解,毕竟代码说明一切。为了简便起见,这里只描述 TextInputFormat 部分的读取逻辑,关于写 HDFS 块相关的代码请参

w397090770   6年前 (2018-05-16) 2311℃ 0评论19喜欢

Spark

Apache Spark调优(Tuning Spark)

Apache Spark调优(Tuning Spark)
由于Spark基于内存计算的特性,集群的任何资源都可以成为Spark程序的瓶颈:CPU,网络带宽,或者内存。通常,如果内存容得下数据,瓶颈会是网络带宽。不过有时你同样需要做些优化,例如将RDD以序列化到磁盘,来降低内存占用。这个教程会涵盖两个主要话题:数据序列化,它对网络性能尤其重要并可以减少内存使用,以及内存调优

w397090770   5年前 (2019-02-20) 3166℃ 0评论8喜欢

Spark

上海Spark Meetup第四次聚会

上海Spark Meetup第四次聚会
  上海Spark Meetup第四次聚会将于2015年5月16日在小沃科技有限公司(原中国联通应用商店运营中心)举办。本次聚会特别添加了抽奖环节,凡是参加了问卷调查并在当天到场的同学们都有机会中奖。奖品由英特尔亚太研发有限公司赞助。大会主题  Opening Keynote 沈洲  小沃科技有限公司副总经理,上海交通大学计算机专

w397090770   9年前 (2015-05-05) 3447℃ 0评论2喜欢

wordpress开发

怎么给wordPress3.5.1添加文章统计

怎么给wordPress3.5.1添加文章统计
怎么给wordPress3.5.1的每一篇添加文章的统计信息?wordPress提供了很多文章统计的插件,在这里以postViews为例,展示在每一篇文章后面添加统计信息。如下图所示:第一步:先在Workpress后台 插件-->安装插件-->输入postViews-->安装-->启用。这样就可以添加好postViews插件。但是默认的情况下,postViews是不能在页面显示的,需要自

w397090770   11年前 (2013-03-31) 3513℃ 1评论2喜欢

Prestissimo

使用 Presto + Velox 读取 HDFS 上的数据

使用 Presto + Velox 读取 HDFS 上的数据
当前 velox 支持了 HDFS、S3 以及本地文件系统,其中 HDFS 和 S3 模块是需要在编译的时候显示指定的,比如我们要测试 HDFS 功能,编译 prestissimo 的时候需要显示指定 PRESTO_ENABLE_HDFS=ON,如下:[code lang="bash"]PRESTO_ENABLE_HDFS=ON make release[/code]Velox 解析 HDFS NN endpoint 逻辑核心代码如下:[code lang="CPP"]HdfsServiceEndpoint HdfsFileSystem::getServic

w397090770   9个月前 (06-29) 347℃ 0评论2喜欢

Memsql

使用Spark和MemSQL Spark连接器运行实时应用

使用Spark和MemSQL Spark连接器运行实时应用
  Apache Spark是目前非常强大的分布式计算框架。其简单易懂的计算框架使得我们很容易理解。虽然Spark是在操作大数据集上很有优势,但是它仍然需要将数据持久化存储,HDFS是最通用的选择,和Spark结合使用,因为它基于磁盘的特点,导致在实时应用程序中会影响性能(比如在Spark Streaming计算中)。而且Spark内置就不支持事务提交(

w397090770   9年前 (2015-04-22) 10143℃ 0评论8喜欢

Shark

Shark迁移到Spark 1.1.0 编程指南

Shark迁移到Spark 1.1.0 编程指南
  Spark 1.1.0马上就要发布了(估计就是明天),其中更新了很多功能。其中对Spark SQL进行了增强:  1、Spark 1.0是第一个预览版本( 1.0 was the first “preview” release);  2、Spark 1.1 将支持Shark更新(1.1 provides upgrade path for Shark),    (1)、Replaced Shark in our benchmarks with 2-3X perfgains;    (2)、Can perform optimizations with 10-

w397090770   10年前 (2014-09-11) 7745℃ 2评论5喜欢

ElasticSearch

Elasticsearch乐观锁并发控制(optimistic concurrency control)

Elasticsearch乐观锁并发控制(optimistic concurrency control)
  Elasticsearch是一个分布式系统。当documents被创建、更新或者删除,其新版本会被复制到集群的其它节点。Elasticsearch既是异步的(asynchronous )也是同步的(concurrent),其含义是复制请求都是并行发送的,但是到达目的地的顺序是无序的。Elasticsearch系统需要一种方法使得老版本的文档永远都无法覆盖新的版本。  每当文档被改变的

w397090770   8年前 (2016-08-11) 3646℃ 1评论2喜欢

Spark

四种解决Spark数据倾斜(Data Skew)的方法

四种解决Spark数据倾斜(Data Skew)的方法
本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案,包括避免数据源倾斜,调整并行度,使用自定义Partitioner,使用Map侧Join代替Reduce侧Join,给倾斜Key加上随机前缀等。为何要处理数据倾斜(Data Skew)什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲,数据量大并不可怕,可怕的是数据倾斜。何谓数据倾

w397090770   7年前 (2017-03-07) 13220℃ 2评论27喜欢

Spark

Spark Streaming性能调优详解

Spark Streaming性能调优详解
  Spark Streaming提供了高效便捷的流式处理模式,但是在有些场景下,使用默认的配置达不到最优,甚至无法实时处理来自外部的数据,这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样,所以我们无法设置一些通用的配置(要不然Spark Streaming开发者就不会弄那么多参数,直接写死不得了),我们需

w397090770   9年前 (2015-04-27) 26864℃ 0评论34喜欢

Solr

Apache Solr 自定义数据模式

Apache Solr 自定义数据模式
到目前为止,我们往 Solr 里面导数据都没有定义模式,也就是说让 Solr 去猜我们数据的类型以及解析方式,这种方式成为无模式(Schemaless)。Apache Solr 里面的定义为:One reason for this is we’re going to use a feature in Solr called "field guessing", where Solr attempts to guess what type of data is in a field while it’s indexing it. It also automatically creates new fields in th

w397090770   6年前 (2018-08-01) 1634℃ 0评论4喜欢

Flume

Flume-0.9.4分布式安装与配置手册

Flume-0.9.4分布式安装与配置手册
  Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。  Flume主要有以下几类组件:  (1)、Master: 负责配置及通信管理,是集群的控制器,并支持多mas

w397090770   10年前 (2014-01-23) 6757℃ 1评论3喜欢

Google

在 IDEA 中使用 Maven 编译 proto 文件

在 IDEA 中使用 Maven 编译 proto 文件
Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。Protocol Buffers 是一种序列化数据结构的方法。对于通过管线(pipeline)或存储数据进行通信的程序开发上是很有用的。这个方法包含一个接口描述

w397090770   5年前 (2019-02-01) 6633℃ 0评论8喜欢

Spark

Apache Spark 2.4.0 正式发布

Apache Spark 2.4.0 正式发布
Apache Spark 2.4 与昨天正式发布,Apache Spark 2.4 版本是 2.x 系列的第五个版本。 如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoopApache Spark 2.4 为我们带来了众多的主要功能和增强功能,主要如下:新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中

w397090770   5年前 (2018-11-09) 3254℃ 0评论1喜欢

Hive

Spark 1.1.0中使用Hive注意事项

Spark 1.1.0中使用Hive注意事项
  Spark 1.1.0中兼容大部分Hive特性,我们可以在Spark中使用Hive。但是默认的Spark发行版本并没有将Hive相关的依赖打包进spark-assembly-1.1.0-hadoop2.2.0.jar文件中,官方对此的说明是:Spark SQL also supports reading and writing data stored in Apache Hive. However, since Hive has a large number of dependencies, it is not included in the default Spark assembly  所以,如果你直

w397090770   10年前 (2014-09-26) 12672℃ 5评论9喜欢

Spark

Spark函数讲解:cogroup

Spark函数讲解:cogroup
  将多个RDD中同一个Key对应的Value组合到一起。函数原型[code lang="scala"]def cogroup[W1, W2, W3](other1: RDD[(K, W1)], other2: RDD[(K, W2)], other3: RDD[(K, W3)], partitioner: Partitioner) : RDD[(K, (Iterable[V], Iterable[W1], Iterable[W2], Iterable[W3]))] def cogroup[W1, W2, W3](other1: RDD[(K, W1)], other2: RDD[(K, W2)], other3: RDD[(K, W3)], numPartitions: Int) : RDD[(K

w397090770   9年前 (2015-03-10) 17396℃ 0评论17喜欢