迟来的2013总结

春节后上班第一天，总结一下2013年做的事情。

1.Hadoop平台
2013Q1 HADOOP集群做了一次升级，增加一批机器，计算能力增加100%，存储能力增加70%；
2013Q2精简了之前的冗余的分区方式，之前不知道什么原因，hdfs除了按日期分partition, 还有两级目录，导致namenode内存有些吃紧，经过精简这两级目录之后，减少了约60%目录、文件，内存占用减少了70%，增强了平台稳定性
优化了调度策略，平台调度能力增强60%，内存占用减少为原来的20%，报表统计计算提早5小时完成
Hive增加权限管理，普通用户只有只读权限， 增加了平台数据安全性；
文件压缩完成了一部分，来年还得继续啊；
2.Q2基于HBASE完成了一个统一的数据接口服务平台;
这个稳定性还不错，快一年了，中间只有两次，重启了部分region server
3.数据抽取
实现了5分钟抽取，并增加一个基于flume+kafka+storm的实时抽取通道；说到底都是为了实时数据的服务
4.调度系统
完成基于分钟级别的精度任务；资源阀值精细化到任务；每天调度的任务增加了约4倍。
我们调度系统还是不错的，毕竟每天需要有几万种任务啊
5.运维
运维方面补充了不少自定义告警，为自动化运维帮忙不少，压力也小了很多，很多问题都是自己提前解决掉，而不是等着别人过来催命。
6.Q4增加了一套基于ElasticSearch的复杂条件数据查询平台，单表数据达到了60亿；

其他还有些零零碎碎的系统，也不多说了。
祝愿自己在新到来的2014年马年工作顺利，事事顺心！

评论

3 楼 wlkfec 2014-02-08  

表示都很陌生、。

2 楼 zhousheng29 2014-02-08  

不好意思说了，老程序员，有空还要coding.

1 楼 sweat89 2014-02-08  

感觉楼主好厉害。。几年工作经验了？