=数据管理的目标与任务=
问题: 人的大脑不善于记忆的特点。
解决方法:人发明的索引,对数据建立索引,发明了数据库软件。
=大数据系统的定义=
在[[大数据系统]]的实现中,整合数据管理与数据分析的功能。
(1)在数据管理的层面,包括数据的读取、存储和操作三方面。 [[大数据索引]]设计是大数据管理中非常重要的内容。设计是大数据管理中的重要内容。 (2)在数据分析的层面,需要各种算法和统计分析的工具。
(2)在数据分析的层面,需要各种算法和统计分析的工具。[[大数据算法]]设计是数据分析中的重要内容。
= 大数据的存储/管理/处理现状 =
#Spark项目是目前最热门的大数据平台
#Real-time Analytics Platform 还没有统治性的软件框架
= Hadoop =
= Spark =
==*BDAS (Berkeley Data Analytics Stack)==
BDAS 是加州大学伯克利分校推出的大数据处理框架。BDAS以Spark软件为核心,结合其他处理软件,组成一套解决方案。
== *RADS(Real-time Analytics Data Stack)==
RADS以Druid为核心,构建大数据实时解析系统。
=Kylin=
Apache Kylin也是一个大数据解析平台,是实现数据解析的分布式软件系统。Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
* [http://kylin.io Apache Kylin]
中文版:
http://kylin.apache.org/cn/
=参考材料=
# Leskovec, Jure, Anand Rajaraman, and Jeffrey David Ullman. Mining of massive datasets. Cambridge University Press, 2014. [http://www.mmds.org/ MMDS_book]
# Redmond, Eric, and Jim R. Wilson. Seven databases in seven weeks: a guide to modern databases and the NoSQL movement. Pragmatic Bookshelf, 2012.
=数据库-相关书籍=
*参考书:
M. Tamer Ozsu and Patrick Valduriez., Principles of Distributed Database Systems (third Edition), Springer, 2011.
Jeffrey D. Ullman/Jennifer Widom, 《A First Course in Database Systems》,机械工业出版社.2011
Avi Silberschatz, Henry F. Korth, S. Sudarshan, Database System Concepts Sixth Edition, McGraw-Hill ISBN 0-07-352332-1