欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

哎哟~404了~休息一下,下面的文章你可能很感兴趣:

Spark

Spark+AI Summit Europe 2019 高清视频下载[共135个]

Spark+AI Summit Europe 2019 高清视频下载[共135个]
为期三天的 SPARK + AI SUMMIT Europe 2019 于 2019年10月15日-17日荷兰首都阿姆斯特丹举行。数据和 AI 是需要结合的,而 Spark 能够处理海量数据的分析,将 Spark 和 AI 进行结合,无疑会带来更好的产品。Spark+AI Summit Europe 2019 是欧洲最大的数据和机器学习会议,大约有1700多名数据科学家、工程师和分析师参加此次会议。本次会议的提议包括了A

w397090770   4年前 (2019-11-01) 992℃ 0评论1喜欢

开源软件

Apache Trafodion:基于 Hadoop 平台的事务数据库引擎

Apache Trafodion:基于 Hadoop 平台的事务数据库引擎
Apache Trafodion 是由惠普开发并开源的基于 Hadoop 平台的事务数据库引擎。提供了一个基于Hadoop平台的交易型SQL引擎。它是一个擅长处理交易型负载的Hadoop大数据解决方案。其主要特性包括:完整的ANSI SQL语言支持完整的ACID事务支持。对于读、写查询,Trafodion支持跨行,跨表和跨语句的事务保护支持多种异构存储引擎的直接访问为应

w397090770   6年前 (2018-01-07) 2315℃ 0评论5喜欢

Akka

Akka学习笔记:ActorSystem(配置)

Akka学习笔记:ActorSystem(配置)
Akka学习笔记系列文章:《Akka学习笔记:ACTORS介绍》《Akka学习笔记:Actor消息传递(1)》《Akka学习笔记:Actor消息传递(2)》  《Akka学习笔记:日志》《Akka学习笔记:测试Actors》《Akka学习笔记:Actor消息处理-请求和响应(1) 》《Akka学习笔记:Actor消息处理-请求和响应(2) 》《Akka学习笔记:ActorSystem(配置)》《Akka学习笔记

w397090770   10年前 (2014-10-21) 15607℃ 4评论12喜欢

Hadoop

设置Hadoop用户以便访问任何HDFS文件

设置Hadoop用户以便访问任何HDFS文件
  Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件而言,当读取这个文件时需要有r权限,当写入或者追加到文件时需要有w权限。对目录而言,当列出目录内容

w397090770   8年前 (2016-03-21) 7769℃ 9喜欢

Hadoop

Hadoop web页面的授权设定

Hadoop web页面的授权设定
  一、相关概念  在默认情况下,Hadoop相关的WEB页面(JobTracker, NameNode, TaskTrackers and DataNodes)是不需要什么权限验证就可以直接进入的,谁都可以查看到当前集群上有哪些作业在运行,这对安全来说是很不合理的。我们应该限定用户来访问Hadoop相关的WEB页面,只有授权的用户才能看到自己授权的作业等信息,而不应该看到他不

w397090770   10年前 (2014-03-25) 12782℃ 2评论8喜欢

Presto

Prestissimo:使 Presto 性能提升三倍

Prestissimo:使 Presto 性能提升三倍
本文资料来自2021年12月09日举办的 PrestoCon 2021,议题为《Updates from the New PrestoDB C++ Execution Engine》,分享者为来自 Ahana 的 Deepak Majeti 以及来自 Intel 的 Dave Cohen, Intel。 本次分享的 PPT 请关注 过往记忆大数据 公众号,并回复 10108 获取。 这篇分享将给大家概述代号为 Prestissimo 项目的相关最新进展。Presti

w397090770   2年前 (2021-12-27) 1373℃ 0评论0喜欢

Spark

Spark学习书籍收集[持续更新]

Spark学习书籍收集[持续更新]
目前关于Spark方面的书籍已经有好几本了,这里列出了下面关于Spark 的书籍。部分书目前还没有发布,所以无法提供下载地址。如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop如果你要找Hadoop相关书籍,可以看这里《精心收集的Hadoop学习资料(持续更新)》  1、大数据技术丛书:Spark快速

w397090770   9年前 (2014-12-08) 35968℃ 3评论58喜欢

数据结构

数据结构:位图法

数据结构:位图法
一、定义位图法就是bitmap的缩写。所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个bitset容器,其实就是位图法,引用bitset介绍:A bitset is a special container class that is designed to store bits (elements with only two possible values: 0 or 1,true or false, .

w397090770   11年前 (2013-04-03) 8578℃ 0评论8喜欢

Hadoop

Hadoop yarn任务调度策略介绍

Hadoop yarn任务调度策略介绍
本文将介绍Hadoop YARN提供的三种任务调度策略:FIFO Scheduler,Capacity Scheduler 和 Fair Scheduler。FIFO Scheduler顾名思义,这就是先进先出(first in, first out)调度策略,所有的application将按照提交的顺序来执行,这些 application 都放在一个队列里,只有在执行完一个之后,才会继续执行下一个。这种调度策略很容易理解,但缺点也很明显

w397090770   8年前 (2015-11-29) 11453℃ 0评论30喜欢

Spark

Spark Checkpoint写操作代码分析

Spark Checkpoint写操作代码分析
  《Spark RDD缓存代码分析》  《Spark Task序列化代码分析》  《Spark分区器HashPartitioner和RangePartitioner代码详解》  《Spark Checkpoint读操作代码分析》  《Spark Checkpoint写操作代码分析》  上次我对Spark RDD缓存的相关代码《Spark RDD缓存代码分析》进行了简要的介绍,本文将对Spark RDD的checkpint相关的代码进行相关的

w397090770   8年前 (2015-11-25) 8795℃ 5评论14喜欢

Spark

Apache Spark 3.0 预览版正式发布,多项重大功能发布

Apache Spark 3.0 预览版正式发布,多项重大功能发布
今天早上 06:53(2019年11月08日 06:53) 数砖的 Xingbo Jiang 大佬给社区发了一封邮件,宣布 Apache Spark 3.0 预览版正式发布,这个版本主要是为了对即将发布的 Apache Spark 3.0 版本进行大规模社区测试。无论是从 API 还是从功能上来说,这个预览版都不是一个稳定的版本,它的主要目的是为了让社区提前尝试 Apache Spark 3.0 的新特性。如果大家想

w397090770   4年前 (2019-11-08) 2045℃ 0评论6喜欢

Spark

SparkRDMA:使用RDMA技术提升Spark的Shuffle性能

SparkRDMA:使用RDMA技术提升Spark的Shuffle性能
Spark Shuffle 基础在 MapReduce 框架中,Shuffle 是连接 Map 和 Reduce 之间的桥梁,Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节;而 Reduce 和 Map 过程通常不在一台节点,这意味着 Shuffle 阶段通常需要跨网络以及一些磁盘的读写操作,因此 Shuffle 的性能高低直接影响了整个程序的性能和吞吐量。与 MapReduce 计算框架一样,Spark 作

w397090770   6年前 (2017-11-15) 7303℃ 3评论30喜欢

面试题

2021年超全超详细的最新大数据开发面试题,附答案解析

2021年超全超详细的最新大数据开发面试题,附答案解析
导语:此套面试题来自于各大厂的真实面试题及常问的知识点。如果能理解吃透这些问题,你的大数据能力将会大大提升,进入大厂指日可待。如果公司急招人,你回答出来面试官70%,甚至50%的问题他都会要你,如果这个公司不是真正缺人,或者只是作人才储备,那么你回答很好,他也可能不要你,只是因为没有眼缘;所以面

zz~~   3年前 (2021-09-24) 2251℃ 0评论7喜欢

Spark

Spark 2.0介绍:在Spark SQL中定义查询优化规则

Spark 2.0介绍:在Spark SQL中定义查询优化规则
《Spark 2.0技术预览:更容易、更快速、更智能》文章中简单地介绍了Spark 2.0带来的新技术等。Spark 2.0是Apache Spark的下一个主要版本。此版本在架构抽象、API以及平台的类库方面带来了很大的变化,为该框架明年的发展奠定了方向,所以了解Spark 2.0的一些特性对我们能够使用它有着非常重要的作用。本博客将对Spark 2.0进行一序列的介

w397090770   8年前 (2016-07-14) 7543℃ 2评论4喜欢

常用工具

Linux安装软件依赖问题解决办法

Linux安装软件依赖问题解决办法
Linux安装软件依赖问题解决办法[code lang="java"][wyp@localhost Downloads]$ rpm -i --aid AdobeReader_chs-8.1.7-1.i486.rpm error: Failed dependencies: libatk-1.0.so.0 is needed by AdobeReader_chs-8.1.7-1.i486 libc.so.6 is needed by AdobeReader_chs-8.1.7-1.i486 libc.so.6(GLIBC_2.0) is needed by AdobeReader_chs-8.1.7-1.i486 libc.so.6(GLIBC_2.1) is needed by AdobeReader_chs-8.1.7-1.i486 libc.so.6(GLIBC_2.1.3) is n

w397090770   10年前 (2014-10-09) 7765℃ 0评论4喜欢

Spark

Spark:Yarn-cluster和Yarn-client区别与联系

Spark:Yarn-cluster和Yarn-client区别与联系
  《Spark on YARN集群模式作业运行全过程分析》  《Spark on YARN客户端模式作业运行全过程分析》  《Spark:Yarn-cluster和Yarn-client区别与联系》  《Spark和Hadoop作业之间的区别》  《Spark Standalone模式作业运行全过程分析》(未发布)  我们都知道Spark支持在yarn上运行,但是Spark on yarn有分为两种模式yarn-cluster和yarn-cl

w397090770   9年前 (2014-12-15) 57843℃ 4评论94喜欢

资料分享

最新可用的免费手机归属地查询API收集

最新可用的免费手机归属地查询API收集
最近有个项目需要用到手机归属地信息,所有网上找到了一些免费的API。但是因为是免费的,所有很多都有限制,比如每天只能查询多少次等。本站提供的API地址: /api/mobile.php?mobile=13188888888参数:mobile ->手机号码(7位到11位)返回格式:JSON实例结果:[code lang="scala"]{ "ID": "18889", "prefix": &q

w397090770   8年前 (2016-08-02) 7956℃ 4评论16喜欢

Web服务

理解WSDL的重要性

理解WSDL的重要性
  在昨天我谈到了WSDL的一些概念,今天打算谈谈为什么理解WSDL非常重要。  许多用户可能会提到的一个问题是,既然WSDL文件可以在各种主要的平台上使用工具创建,为什么还要花时间学习WSDL呢?这是因为WSDL文档非常新,学习其内容和工作原理是明智的。由于Web服务正在变得无所不在,所以,理解和掌握WSDL文档的必要性越来

w397090770   11年前 (2013-04-25) 3075℃ 1评论1喜欢

Akka

Akka在Flink中的使用解析

Akka在Flink中的使用解析
Akka与Actor 模型  Akka是一个用来开发支持并发、容错、扩展性的应用程序框架。它是actor model的实现,因此跟Erlang的并发模型很像。在actor模型的上下文中,所有的活动实体都被认为是互不依赖的actor。actor之间的互相通信是通过彼此之间发送异步消息来实现的。每个actor都有一个邮箱来存储接收到的消息。因此每个actor都维护着

w397090770   8年前 (2016-04-15) 3211℃ 0评论2喜欢

Beam

Apache Beam成为Apache顶级项目

Apache Beam成为Apache顶级项目
  Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业,成为Apache的顶级项目。如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop  Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大数据处理领

w397090770   7年前 (2017-01-12) 3142℃ 0评论7喜欢

Spark

Spark 1.2.0发布啦

Spark 1.2.0发布啦
  Spark 1.2.0于美国时间2014年12月18日发布,Spark 1.2.0兼容Spark 1.0.0和1.1.0,也就是说不需要修改代码即可用,很多默认的配置在Spark 1.2发生了变化  1、spark.shuffle.blockTransferService由nio改成netty  2、spark.shuffle.manager由hash改成sort  3、在PySpark中,默认的batch size改成0了,  4、Spark SQL方面做的修改:    spark.sql.parquet.c

w397090770   9年前 (2014-12-19) 4563℃ 1评论2喜欢

Hive

Hive on Spark编程入门指南

Hive on Spark编程入门指南
  先说明一下,这里说的Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。  从Hive 1.1版本开始,Hive on Spark已经成为Hive代码的一部分了,并且在spark分支上面,可以看这里https://github.com/apache/hive/tree/spark,并会定期的移到master分支上面去。关于Hive on Spark的讨论和进度,可以看这里https://

w397090770   9年前 (2015-08-31) 41647℃ 30评论43喜欢

Spark

Spark北京Meetup第九次活动-Zeppelin主题

Spark北京Meetup第九次活动-Zeppelin主题
一、活动时间  北京第九次Spark Meetup活动将于2015年08月22日进行;下午14:00-18:00。二、活动地点  北京市海淀区丹棱街5号 微软亚太研发集团总部大厦1号楼三、活动内容  1、《Keynote》 ,分享人:Sejun Ra ,CEO of NFLabs.com  2、《An introduction to Zeppelin with a demo》,分享人: Anthony Corbacho, Engineer from NFLabs and

w397090770   9年前 (2015-08-07) 2808℃ 0评论1喜欢

Presto

Presto multi-master Coordinator 简介

Presto multi-master Coordinator 简介
背景Presto 的架构最初只支持一个 coordinator 和多个 workers。多年来,这种方法一直很有效,但也带来了一些新挑战。使用单个 coordinator,集群可以可靠地扩展到一定数量的 worker。但是运行复杂、多阶段查询的大集群可能会使供应不足的 coordinator 不堪重负,因此需要升级硬件来支持工作负载的增加。单个 coordinator 存在单点故障

zz~~   2年前 (2022-04-22) 792℃ 0评论1喜欢

HTTPS

如何申请免费好用的HTTPS证书Let's Encrypt

如何申请免费好用的HTTPS证书Let's Encrypt
  Let's Encrypt是一款免费、自动化、开放的证书签发服务(Let's Encrypt is a new Certificate Authority: It's free, automated, and open),它由非营利的网际网路安全研究组织 ISRG(Internet Security Research Group,互联网安全研究小组)提供营运服务,并得到EFF、Mozilla、Cisco、Akamai、IdenTrust与密西根大学研究人员的支持,发展十分迅猛。Let's Encrypt目的在于

w397090770   8年前 (2016-08-06) 3175℃ 3评论2喜欢

Mysql

Spark与Mysql(JdbcRDD)整合开发

Spark与Mysql(JdbcRDD)整合开发
  如果你需要将RDD写入到Mysql等关系型数据库,请参见《Spark RDD写入RMDB(Mysql)方法二》和《Spark将计算结果写入到Mysql中》文章。  Spark的功能是非常强大,在本博客的文章中,我们讨论了《Spark和Hbase整合》、《Spark和Flume-ng整合》以及《和Hive的整合》。今天我们的主题是聊聊Spark和Mysql的组合开发。如果想及时了解Spark、Had

w397090770   10年前 (2014-09-10) 38570℃ 7评论32喜欢

Spark

Apache Spark 2.2.0正式发布

Apache Spark 2.2.0正式发布
关于 Apache Spark 2.2.0 的详细新功能介绍请参见:《Apache Spark 2.2.0新特性详细介绍》Apache Spark 2.2.0 持续了半年的开发,从RC1 到 RC6 终于在今天正式发布了。本版本是 2.x 版本线的第三个版本。在这个版本 Structured Streaming 的实验性标记(experimental tag)已经被移除,这也意味着后面的 2.2.x 之后就可以放心在线上使用了。除此之外,这

w397090770   7年前 (2017-07-12) 2740℃ 0评论8喜欢

ElasticSearch

ElasticSearch系列文章:搜索API

ElasticSearch系列文章:搜索API
搜索API允许开发者执行搜索查询,返回匹配查询的搜索结果。这既可以通过查询字符串也可以通过查询体实现。多索引多类型所有的搜索API都可以跨多个类型使用,也可以通过多索引语法跨索引使用。例如,我们可以搜索twitter索引的跨类型的所有文档。[code lang="java"]$ curl -XGET 'http://localhost:9200/twitter/_search?q=user:kimchy'[/

zz~~   8年前 (2016-09-22) 1651℃ 0评论2喜欢

Delta Lake

深入理解 Apache Spark Delta Lake 的事务日志

深入理解 Apache Spark Delta Lake 的事务日志
事务日志是理解 Delta Lake 的关键,因为它是贯穿许多最重要功能的通用模块,包括 ACID 事务、可扩展的元数据处理、时间旅行(time travel)等。本文我们将探讨事务日志(Transaction Log)是什么,它在文件级别是如何工作的,以及它如何为多个并发读取和写入问题提供优雅的解决方案。事务日志(Transaction Log)是什么Delta Lake 事务日

w397090770   5年前 (2019-08-22) 1731℃ 0评论6喜欢

Hadoop

如何从根源上解决 HDFS 小文件问题

如何从根源上解决 HDFS 小文件问题
我们知道,HDFS 被设计成存储大规模的数据集,我们可以在 HDFS 上存储 TB 甚至 PB 级别的海量数据。而这些数据的元数据(比如文件由哪些块组成、这些块分别存储在哪些节点上)全部都是由 NameNode 节点维护,为了达到高效的访问, NameNode 在启动的时候会将这些元数据全部加载到内存中。而 HDFS 中的每一个文件、目录以及文件块,

w397090770   6年前 (2018-10-09) 9180℃ 2评论31喜欢