经常有初学者在博客和QQ问我，自己想往方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。。
其实这就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易，哪个前景好，哪个钱多。
先扯一下大数据的4V特征：
现如今，正式为了应对大数据的这几个特点，开源的越来越多，越来越强，先列举一些常见的：
眼花了吧，上面的有30多种吧，别说精通了，全部都会使用的，估计也没几个。
就我个人而言，主要经验是在第二个方向（开发/设计/架构），且听听我的建议吧。
如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
请不要被这个名字所诱惑。其实我想说的是数据的一次采集、多次消费。
在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面章节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。
为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。
另外，我这边是之前单独开发的任务调度与监控系统，具体请参考《大数据平台任务调度与监控系统》.
如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
在第六章介绍Kafka的时候提到了一些需要实时指标的业务场景，实时基本可以分为绝对实时和准实时，绝对实时的延迟要求一般在毫秒级，准实时的延迟要求一般在秒、分钟级。对于需要绝对实时的业务场景，用的比较多的是Storm，对于其他准实时的业务场景，可以是Storm，也可以是Spark Streaming。当然，如果可以的话，也可以自己写程序来做。
1. 什么是Storm？有哪些可能的应用场景？
2. Storm由哪些核心组件构成，各自担任什么角色？
3. Storm的简单***和部署。
4. 自己编写Demo程序，使用Storm完成实时数据流计算。
如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
至此，你的大数据平台底层架构已经成型了，其中包括了数据采集、数据存储与计算（离线和实时）、数据同步、任务调度与监控这几大模块。接下来是时候考虑如何更好的对外提供数据了。
通常对外（业务）提供数据访问，大体上包含以下方面：
离线：比如，每天将前一天的数据提供到指定的数据源（DB、FILE、FTP）等；离线数据的提供可以采用Sqoop、DataX等离线数据交换工具。
实时：比如，在线网站的推荐系统，需要实时从数据平台中获取给用户的推荐数据，这种要求延时非常低（50毫秒以内）。
OLAP分析：OLAP除了要求底层的数据模型比较规范，另外，对查询的响应速度要求也越来越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的数据模型比较规模，那么Kylin是最好的选择。
即席查询：即席查询的数据比较随意，一般很难建立通用的数据模型，因此可能的方案有：Impala、Presto、SparkSQL。
这么多比较成熟的框架和方案，需要结合自己的业务需求及数据平台技术架构，选择合适的。原则只有一个：越简单越稳定的，就是最好的。
如果你已经掌握了如何很好的对外（业务）提供数据，那么你的“大数据平台”应该是这样的：
关于这块，我这个门外汉也只能是简单介绍一下了。数学专业毕业的我非常惭愧，很后悔当时没有好好学数学。
在我们的业务中，遇到的能用机器学习解决的问题大概这么三类：
大多数行业，使用机器学习解决的，也就是这几类问题。
SparkMlLib提供了一些封装好的算法，以及特征处理、特征选择的方法。
机器学习确实牛逼高大上，也是我学习的目标。
那么，可以把机器学习部分也加进你的“大数据平台”了。