ITeye博客

传物易人

hugh.wangp · 共 48 篇文章

[置顶] HIVE表数据量和数据记录数的矛与盾

HIVE作为在Hadoop分布式框架下的数据仓库技术,处理大数据量是最基本的诉求,这种海量处理是基于分布式框架,利用分布式存储,分布式计算,利用大集群的资源并行处理海量数据。但是一旦我们不能利用这种分布式并行处理,那么海量数据只能是低效处理了。再往细处说,就是一份海量数据需要多少map来处理,一个map能处理多少数据,这些都制约着数据处理的效率。 HIVE的执行效率问题可以大概归结: 1.如何使大数据量利用合适的map数 2.如何使单个map处理合适的数据记录数 这两点是相辅相成的,在保证单个map处理合适的记录数后,就能确定整个数据量需要多少map数。貌似好像解决了,但是这是个矛与盾的问题…

2012-07-06T09:45:12Z · 开源软件 · 评论(1)

[置顶] MapReduce的排序和二次排序

自己学习排序和二次排序的知识整理如下。 1.Hadoop的序列化格式介绍:Writable 2.Hadoop的key排序逻辑 3.全排序 4.如何自定义自己的Writable类型 5.如何实现二次排序 1.Hadoop的序列化格式介绍:Writable 要了解和编写MR实现排序必须要知道的第一个知识点就是Writable相关的接口和类,这些是HADOOP自己的序列化格式。更多的可能是要关注他的Subinterfaces:WritableComparable<T>。他是继承Writable和Comparable<T>接口,继而WritableComparable<T>的实现除了具有序列化特性,…

2012-04-20T10:38:59Z · 开源软件 · 评论(1)

数据分析之我见(1)-方法论

请关注 微信公共账号:数据夜谈 一个数据人互相分享的小圈子! 摘要: 数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析,以求最大化地开发数据资料的功能,发挥数据的作用。这是比较技术的定义,更偏向于分析本身。但数据分析更应该作为一种解决问题的方法论,指导和影响我们的工作,更有甚者,它可以引领未来。 正文: 作者:王鹏(沙咖) 数据分析大家很容易想到数理统计、图表、分析报告,但这只是分析的手段和结果的展现形式。数据分析其实是发现问题、分析问题和解决问题的过程。数据分析引领未来的这一面,本文不再赘述,这是数据分析人员修养能力,不是数据本身的问题。 在整个公司业务的各个环节,…

2014-03-13T19:57:04Z · 互联网 · 评论(0)

大数据创业与投资(2)-电子商务

请关注 微信公共账号:数据夜谈 来往公共账号:数据夜谈 一个数据人互相分享的小圈子! 摘要: 年前比较忙. 这篇开始会对大数据的具体应用场景和产品做个分享。因为笔者所在行业为互联网中的电子商务行业,所以会从电商的数据场景和产品开始。 正文: 作者:宋贵亮(凤超) 先谈谈数据. 在互联网用户数字行为占比我们的时间越来越严重的今天,产生了大量的结构化,非结构化的数据。线下实际行为,也被数字行为所引导。鼠标流所诞生的这些结构和非结构化的数据,就是我们创业与投资的源泉。 结构化数据就不用多说了,非结构化数据,如网站的,无线app的log,图片,影音文件等等。大数据创业的之前提到,如做图像购物搜索的淘…

2014-02-21T17:58:54Z · 非技术 · 评论(0)

大数据创业与投资(1)-发展之路(二)

请关注 微信公共账号:数据夜谈 来往公共账号:数据夜谈 一个数据人互相分享的小圈子! 摘要 上篇从正面分析了大数据的发展,本篇看一看大数据在发展过程中的泡沫 正文 作者:宋贵亮(凤超) 大部分创业公司的主要业务都集中于应用产品类的应用分析方向,且国内更甚——国内与国外在基础设施方面1:18的差距无疑暴露了国内企业在基础设施领域的短板。从技术上看,信息的存储、接口设计、加速计算等基础设施类的业务非硬技术不能支撑,相对来说,垂直应用类的产品,一个成熟的工程开发团队即使未得其神,也可复制其形;从资金方面来看,基础设施类公司最新一轮的平均融资金额为2234.12万美元,应用分析类对应的平均融资金额达…

2014-02-21T17:56:45Z · 非技术 · 评论(0)

大数据创业与投资(1)-发展之路(一)

请关注 微信公共账号:数据夜谈 来往公共账号:数据夜谈 一个数据人互相分享的小圈子! 作者: 宋贵亮(凤超) 摘要: 大数据时代的数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。大数据的创业和投资时代已然来临,怎么创业,怎么投资,该文来自一位阿里资深的数据人,欢迎大家多多关注和参与该系列讨论。 正文: **大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。**在一切都被“数据化”的趋势下,大数据不再只是谷歌、亚马逊这类大公司的法宝,专注于数据服务或数…

2014-01-14T18:17:20Z · 非技术 · 评论(0)

互联网思维系列(4)-案例

请关注 微信公共账号:数据夜谈 来往公共账号:数据夜谈 一个数据人互相分享的小圈子! 摘要 我们看看一个转型成功的公司是如何利用互联网思维成功的。 正文 一个以用户为中心而转型的公司如何成功的,这个公司就是使星巴克也有点黯然失色的绿山咖啡。 绿山咖啡一直兢兢业业地卖自己的品牌的特制咖啡,在超市、麦当劳、加油站。赚钱很容易,但增长却存在天花板,大型超市进不去,麦当劳和加油站也不可能在大范围推广绿山品牌。然而它的新起步和成功却是从加入和收购Keurig开始的,表面上看,绿山的盈利主要靠:Keurig的保有量;每台机器上K杯的消费量。所以网上都说绿山咖啡是靠卖杯子赚钱的。 其实,绿山依靠着互联网思…

2014-01-09T19:47:08Z · 非技术 · 评论(0)

互联网思维系列(3)-迭代&极致

请关注 微信公共账号:数据夜谈 来往公共账号:数据夜谈 一个数据人互相分享的小圈子! 摘要 抓住用户的痛点,专注于自身的产品,迭代地把产品或者服务做到极致,解决用户的痛点,超越用户的期望 正文 在解决用户核心痛点的情况下,基于用户、市场的需求,分阶段迭代推进,使我们的服务更加精益、完美。 为什么需要通过迭代来完成呢?在互联网时代,用户的需求是分散的,个性化的,同时用户意见反馈的成本很低,这样就给了我们试错和逐步完善的机会,在完成核心功能的基础上,通过用户的参与和不断反馈,逐步完善服务。像传统行业,必须给用户一个完善的成品才能推向市场的模式,慢慢就不能适应用户快速多变的需求。 那为什么能够迭代…

2014-01-07T19:41:21Z · 非技术 · 评论(0)

互联网思维系列(2)-用户&服务

请关注 微信公共账号:数据夜谈 来往公共账号:数据夜谈 一个数据人互相分享的小圈子! 摘要 从传统的经营产品转为经营用户。一切围绕着用户展开,不管是产品、营销、运营、服务,一切的一切都以用户为中心 正文 所有的企业都会说顾客都是上帝,但以前的企业重视顾客更多是为了兜售产生利润的产品,而互联网思维中重视用户,肯定是为了解决用户某个痛点,后续才是利用大量的用户价值区产生商业价值。如果绕不过这个弯,做什么都不是具有互联网思维。 传统的信息不对称,导致市场是由商家主导的,但是互联网消除了信息的不对称,用户不一定比商家知道的少。商家必须从市场定位、产品研发,生产销售乃至售后服务整个价值链的各个环节,建…

2014-01-02T22:49:46Z · 非技术 · 评论(0)

互联网思维系列(1)-总论

请关注 微信公共账号:数据夜谈 来往公共账号:数据夜谈 一个数据人互相分享的小圈子! 摘要 互联网思维的讯息,整理汇集于此,一起看看互联网上如何说互联网思维 正文 题外话:辞旧迎新的一天,我们开始"数据夜谈",从13年到14年,我们期望"数据夜谈"能陪伴大家1314 互联网思维就像大数据一样,这几个名词已经被炒成泡沫了。但是确实有很多企业、个人利用不同于传统的思想得到了成功,这个思想可能是互联网思维,也可能是什么思维。之所以不能把他们的成功完全归结于互联网思维,很大程度上,互联网思维这个名词每个人的理解都不一样。 咱们先看看互联网上对互联网思维都有哪些定义和说法: 百度百科的互联网思维定义为…

2013-12-31T21:39:07Z · 非技术 · 评论(0)

Map使用的代码小记

Map的遍历 Map的排序 Map的遍历 Map<String, Integer> INPUTMAP = new HashMap<String, Integer>() { { put("a", 1); put("c", 3); put("b", 2); put("d", 4); put("e", 5); } }; Iterator it = INPUTMAP.entrySet().iterator(); while(it.hasNext()) { Map.Entry entry = (Map.Entry)it.next(); Object key = entry.getKey(); Obje…

2013-06-21T16:31:16Z · 编程语言 · 评论(0)

Neo4j-在JAVA中执行Cypher查询

在JAVA中使用Cypher涉及到org.neo4j.cypher.javacompat包的两个类. 类名 方法名 说明 ExecutionEngine public ExecutionResult execute(String query) 执行query返回存储结果集的一个迭代器(ExecutionResult) (用于执行Cypher Query) public ExecutionResult execute(String query, Map<String,Object> params) 执行query返回存储结果集的一个迭代器(ExecutionResult) 其中,params是…

2013-05-07T08:12:27Z · 开源软件 · 评论(0)

Neo4j-Cypher查询语言-函数

断言函数(Predicate functions) 函数名称 函数说明 ALL(identifier in collection WHERE predicate) 判断一个断言(predicate)是否满足集合(collection)里的所有元素 ANY(identifier in collection WHERE predicate) 判断一个断言(predicate)是否至少满足集合(collection)里的一个元素 NONE(identifier in collection WHERE predicate) 如果集合(collection)里的元素不满足断言(predicate)则返…

2013-04-19T08:32:14Z · 开源软件 · 评论(0)

Neo4j-Cypher查询语言-模式(Patterns)

模式是Cypher非常核心的东西,它在很多地方被用到。利用模式,你可以描述你要找的数据是什么样子。模式是被用在MATCH子句中。路径模式是表达式。Since these expressions are collections, they can also be used as predicates (a non-empty collection signifies true)。他们被用来CREATE/CREATE UNIQUE一个图。 所以,理解模式非常重要。 当你申明一个模式时,Cypher会指出怎么获取数据。想法是编写查询,指定你想要的模式,你就能够利用这些值创建你想要的结果。 模式必须…

2013-04-19T08:24:57Z · 开源软件 · 评论(0)

Neo4j-Cypher查询语言-更新图数据库&事务

更新图数据库 Cypher可以用于查询图,同时也可以更新图。 更新语句的结构 Quick info 一个Cypher的查询块不能同时匹配和更新 任何一个查询块可以读取和匹配图,或者更新图 如果你从图中读取数据,然后更新它,你的查询包括两块:第一块是读取数据,第二块是写入数据。如果查询只是读取,Cypher是lazy的,它直到你要获取结果时才会去做模式匹配。意思就是,所有的读操作必须在写操作发生前执行完毕,如果没有这个,一个数据还在创建过程中,matcher就开始执行了 ( where the pattern matcher runs into data that is being creat…

2013-04-19T08:22:05Z · 开源软件 · 评论(0)