Linux在大数据中的应用

程序员都知道Java的方向是JavaSE，JavaEE和JavaME。 学习大数据时应该学习哪个方向? 您只需要学习JavaSE的标准Java版本，例如Servlet，JSP，Tomcat，Struts，Spring，Hibernate和Mybatis。 这些都是JavaEE方向上的技术。 它们在大数据技术中使用不多，他们只需要了解它们即可。 当然，您仍然需要知道Java如何连接到数据库，例如JDBC，您必须掌握它。

有同学说Hibernate或Mybites也能连接数据库啊，为什么不学习一下，我这里不是说学这些不好，而是说学这些可能会用你很多时间，到最后工作中也不常用，我还没看到谁做大数据处理用到这两个东西的，当然你的精力很充足的话，可以学学Hibernate或Mybites的原理，不要只学API，这样可以增加你对Java操作数据库的理解，因为这两个技术的核心就是Java的反射加上JDBC的各种使用。

运维学习需要分为四个阶段：

①linux初级入门

②linux中级进阶

③linux高级提升

④资深方向细化。

第一阶段：初级入门

Linux基础知识、基本命令(起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令)

Linux用户及权限基础

Linux系统进程管理进阶

Linux高效文本、文件处理命令(vim、grep、sed、awk、find等命令)

第二阶段：中级进阶(基础运维)

中级进阶需要在充分了解linux原理和基础知识之后，对上层的应用和服务进行深入学习。

TCP/IP网络基础(差不多CCNA、NP的知识就够用)

Linux企业常用服务(如dns、http、ftp、mail、nfs等)

Linux企业级安全原理和防范技巧(系统性能/安全、安全威胁模型和保护方法

加密/解密原理及数据安全、系统服务访问控制及服务安全基础

iptables安全策略构建

shell脚本进阶(主要是结合一些应用，写一些案例)

MySQL应用原理及管理入门(能管理和搭建一个个人博客站点)

.

第三阶段：高级运维

http服务代理缓存加速(其中主要学习varnish、nginx缓存系统，要对CDN的知识有所了解。)

企业级负载集群(其中主要学习nginx、haproxy、lvs要对主要知识熟练掌握，对负载均衡算法有清晰认识，)

企业级高可用集群 (其中需要对keepalived，heartbeat等进行深入讲解)

运维监控zabbix详解(主要是zabbix、cacti、nagios等监控系统，现在用的比较多的是zabbix)

运维自动化学习(需要学一些开源运维自动化工具的使用如ansible、puppet、cobbler等运维自动化工具)

第四阶段：资深方向

大数据方向(需要对hadoop、storm等常见开源大数据系统需要深入了解)云计算方向(主要是openstack这套东西，当然像一些kvm等虚拟化技术，也是需要掌握的，现在docker也比较流行)

运维开发(主要是python运维开发)

自动化运维(在之前自动化基础上做深入)

运维架构师(主要需要广度，差不多5年左右以上经验，可以担当此职位)