大数据_站长网

[干货]大规模数据处理的演变(2003-2017)

所属栏目：[大数据] 日期：2020-12-25 热度：59

本PPT介绍了大规模数据处理的演变，从最早的Mapreduce、Hadoop介绍到最新的Beam；并最后得出结论： The future of streaming and batch is Apache Beam。值得一看。本PPT由Google的大神泰勒?阿克道（Tyler Akidau）分享，他是谷歌的一名高级软件工程师。是[详细]
算法提高 P1001 （大数乘法）

所属栏目：[大数据] 日期：2020-12-25 热度：59

当两个比较大的整数相乘时，可能会出现数据溢出的情形。为避免溢出，可以采用字符串的方法来实现两个大数之间的乘法。具体来说，首先以字符串的形式输入两个整数，每个整数的长度不会超过8位，然后把它们相乘的结果存储在另一个字符串当中（长度不会超过16位[详细]
如何进行大数据分析及处理？

所属栏目：[大数据] 日期：2020-12-25 热度：54

大数据的分析从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大[详细]
开源大数据处理工具汇总（下）

所属栏目：[大数据] 日期：2020-12-25 热度：128

第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。日志收集系统一、Facebook?Scribe 贡献者：Facebook 简介：Scribe是Facebook开源的日志收集系统，在Faceboo[详细]
开源大数据处理工具汇总（上）

所属栏目：[大数据] 日期：2020-12-25 热度：169

查询引擎一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。 Phoenix查询引擎会将SQL查询转换为一个或多个HBase[详细]
推荐大数据分析的八大工具

所属栏目：[大数据] 日期：2020-12-25 热度：116

去年，IBM宣布以17亿美元收购数据分析公司Netezza；EMC继收购数据仓库软件厂商Greenplum后再次收购集群NAS厂商Isilon；Teradata收购了Aster Data 公司；随后，惠普收购实时分析平台Vertica等，这些收购事件指向的是同一个目标市[详细]
算法训练区间K大数

所属栏目：[大数据] 日期：2020-12-25 热度：156

算法训练区间k大数查询 ? 时间限制：1.0s ? 内存限制：256.0MB ? ? 问题描述给定一个序列，每次询问序列中第l个数到第r个数中第K大的数是哪个。输入格式第一行包含一个数n，表示序列长度。第二行包含n个正整数，表示给定的序列。第三个包含一个正整数m[详细]
[bigdata-34] pyenv + anaconda 4.2 + python3.5+ ubuntu 16.04

所属栏目：[大数据] 日期：2020-12-25 热度：157

1. pyenv 官网 https://github.com/yyuu/pyenv 2. 安装 git clone https://github.com/yyuu/pyenv.git ~/.pyenv echo 'export PYENV_ROOT="$HOME/.pyenv"' ~/.bashrc echo 'export PATH="$PYENV_ROOT/bin:$PATH"' ~/.bashrc echo 'eval "$(pyenv init -)"' ~[详细]
MPP DB 是大数据实时分析系统

所属栏目：[大数据] 日期：2020-12-25 热度：144

大数据领域，实时分析系统（在线查询）是最常见的一种场景，前面写了一个《实时分析系统 (HIVE/HBASE/IMPALA) 浅析》讨论业界当前常见的方案。互联网公司用得比较多是 HIVE/HBASE ，如腾讯基于 HIVE 深度定制改造，改名为 TDW ，小米等公司选用 HBASE 等。[详细]
BI学习计划

所属栏目：[大数据] 日期：2020-12-25 热度：179

1??????????《数据仓库》——比尔.恩门，主要介绍什么是数据仓库 2??????????SSIS设计与开发 2.1?????????BIWORK的微软SSIS系列 2.2?????????微软MSDN之SSIS系列 3??????????SSAS设计与开发 3.1?????????BIWORK的微软SSIS系列 3.2?????????微软MSDN之SSIS系[详细]
BI导论——数据仓库概论

所属栏目：[大数据] 日期：2020-12-25 热度：177

1??????????书名《Building the Data WareHouse》作者：比尔.恩门 2??????????目的：将积累的数据变成信息，以建立决策支持系统（DSS） 3??????????原有的DSS是分裂的，按需抽取的，导致重复与低效 4??????????原始数据与DSS数据对比与差异 4.1?????????原始[详细]
[bigdata-035]用js dtree展示一个树形结构 py3+dtree+jquery

所属栏目：[大数据] 日期：2020-12-25 热度：142

1. dtree的下载 http://destroydrop.com/javascripts/tree/default.htm 2. 目录结构 . ├── static │?? ├── css │?? │?? └── dtree.css │?? ├── img │?? │?? ├── base.gif │?? │?? ├── cd.gif │?? │?? ├── diffDoc.gif │??[详细]
[编程题]数字翻转(大数加法)

所属栏目：[大数据] 日期：2020-12-25 热度：163

对于一个整数X，定义操作rev(X)为将X按数位翻转过来，并且去除掉前导0。例如: 如果 X = 123，则rev(X) = 321; 如果 X = 100，则rev(X) = 1. 现在给出整数x和y,要求rev(rev(x) + rev(y))为多少？? 输入描述: 输入为一行，x、y(1 ≤ x、y ≤ 1000)，以空格隔开[详细]
[bigdata-036] mit-scheme试用

所属栏目：[大数据] 日期：2020-12-25 热度：134

1. 安装Mit-scheme apt-get install mit-scheme 2. 写一个hello wold代码， hi.scm (begin (display "Hello,World!") (newline)) 3. 在命令行执行 scheme，进入交互界面，然后输入命令 (load 'hi.scm') 将执行这个文件，然后输出 "Hello,World!" 4. scheme语[详细]
万科房地产大数据分析平台

所属栏目：[大数据] 日期：2020-12-24 热度：69

如何研究房地产市场？归根结底需要解决的问题无非是地、房、人三大内容然而，传统的研究方法却耗时耗力看不全的土地——总会遗忘疏漏想不尽的产品——依旧经验为先读不透的客户——往往以偏概全上海万科率先使用先进的手段颠覆传统的研究方法！近[详细]
携程BI团队实践：推荐系统中基于深度学习的混合协同过滤模型

所属栏目：[大数据] 日期：2020-12-24 热度：82

背景近些年，深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说，深度学习在推荐系统领域的研究与应用还处于早期阶段。携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用，并在国际人工智能顶级会议AAAI 20[详细]
[bigdata-033] 互联网金融-大数据架构平台和业务流程

所属栏目：[大数据] 日期：2020-12-24 热度：193

一张图,excited![详细]
BloomFilter——大规模数据处理利器

所属栏目：[大数据] 日期：2020-12-24 热度：84

原文：http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html 笔记：类似bloombit，用来查找某个东西是否存在，可以允许少量错误率 bloombit 先定义一个bit数组，插入时将数据hash后置位相应的位，查询时看相应的位是否置位，这样会有一定的出错概[详细]
电商如何上了bi的道？

所属栏目：[大数据] 日期：2020-12-24 热度：68

（这就不要跟我提淘宝京东唯品会之类的了，这条道本就是他们趟出来的，以下主要针对垂直电商以及传统零售转电商一类） BI这条道不再新鲜了，但也是有些公司上来了，有些没上来。没上来的可能还不确定什么时机该上，上来的也是各有各的苦衷，家家有本难念的经[详细]
[BZOJ1670][Usaco2006 Oct]Building the Moat护城河的挖掘（凸包

所属栏目：[大数据] 日期：2020-12-24 热度：130

题目描述传送门题解凸包裸题。代码 #includealgorithm #includeiostream #includecstring #includecstdio #includecmath using namespace std ; #define N 5005 const double eps= 1e-9 ; int dcmp( double x){ if (x=epsx=-eps) return 0 ; return (x 0[详细]
N的阶乘（大数阶乘算法）

所属栏目：[大数据] 日期：2020-12-24 热度：50

Problem Link：点击打开链接题目描述 ?输入一个正整数N，输出N的阶乘。? 输入描述: 正整数N(0=N=1000) 输出描述: ?输入可能包括多组数据，对于每一组输入数据，输出N的阶乘输入例子: 4515 输出例子: 241201307674368000 AC code： #includeiostream#includ[详细]
2017年商业智能 BI 发展趋势分析

所属栏目：[大数据] 日期：2020-12-24 热度：56

转载自公众号：天善智能（ID：tianshansoft）作者：吕品，天善智能联合创始人运营总监? 导读本文主要涉及到以下四个方面的内容： 1. 传统 BI 和新型 BI 的分水岭（2013年） 2. 新型 BI 的高速发展期和传统BI的衰退（2013年-2016年） 3. 传统 BI 巨头下滑期[详细]
a+b(大数加法)

所属栏目：[大数据] 日期：2020-12-24 热度：61

Problem Link：点击打开链接题目描述实现一个加法器，使其能够输出a+b的值。? 输入描述: 输入包括两个数a和b，其中a和b的位数不超过1000位。输出描述: 可能有多组测试数据，对于每组数据，输出a+b的值。输入例子: 2 610000000000000000000 1000000000000[详细]
流式大数据处理的三种框架：Storm，Spark和Samza

所属栏目：[大数据] 日期：2020-12-24 热度：89

许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在 Storm 中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群[详细]
AI眼中的历史：用人工智能挖掘旧报纸里的英国现代史

所属栏目：[大数据] 日期：2020-12-24 热度：104

大数据文摘作品，转载要求见文末本文作者|Martha Henriques 编译团队 |Sophie，刘晓莉 ▼ 微信后台（不是评论区）回复关键词“ 历史 ”，获取PDF原文报告。试问，哪位历史学家有时间阅读跨越一个多世纪英国历史的数千万份报纸？没人可以。所以，计算机科学[详细]

10633

376