您的位置:首页 > 业内资讯 > 大数据职位,数据场技能

大数据职位,数据场技能

来源:developerWorks | 时间:2016-02-02 14:13:31 | 阅读:183 |  标签: developerWorks   | 分享到:

01 数据极客

上回书说到,数据科学家是具有数据相关的完整理论和知识的人,自然境界很高。做作一个普通的IT界码农,成为数据科学家需要漫长的过程。那这个……,做不到数据科学家,我们还可以做个数据极客(Data Geek)嘛,挑战数据极限,也是挑战自己的极限。


那么,成为数据极客,建立自己的数据场需要哪些技能呢?且不说那高深复杂的理论,仅从实用的角度来分析一下,建立数据场的七个方面。


02 七大技能

2.1 SQL与NoSQL技能

二维表格数据是最常用形式了,对二维数据的处理分析也是最基本的。传统的SQL工具与大数据环境下的NoSQL工具中,以关系型的MySQL为代表,以文档型的MongoDB为代表,以大数据环境下的Hive代表。这都是数据分析的基础而强大利器,在很多场合下都能快速的解决问题。


扩展的,还会有内存型数据库Redis,图数据库Neo4j,还有全文索引的ElasticSearch和Solr,还有Hbase和Cassandra,这些根据具体的业务,选择性的掌握其中一部分。


学到什么程度并无定论,重点在具体的数据环境下,不至于永远只知道MySQL这一个工具,在不同的场景,其它的数据库能发挥出强大的优势。


总结起来说,重点不是工具,而是数据。不仅要能处理结构化数据,还要处理半结构化数据,不仅能单机处理,还要在集群环境下处理。


2.2 Linux工具集

Shell, AWK, sed, grep等基本工具集,这是很多数据简单处理的得力助手,包含数据文件编码,数据合并,数据拆分,数据规范,格式验证等等。


Linux脚本能力,简单服务配置能力,正则表达式能力,Vim或者Emacs编辑能力,文件系统常用操作命令,远程登录ssh等等,这些都能快速的处理很多问题。任何的分析或挖掘都会依托与一个系统,而Linux是其中最常用的,尤其是在服务器环境。熟悉一个系统,能让自己的数据科学工作事半功倍。

小编推荐阅读

好特网发布此文仅为传递信息,不代表好特网认同期限观点或证实其描述。

相关视频攻略

更多

扫二维码进入好特网手机版本!

扫二维码进入好特网微信公众号!

本站所有软件,都由网友上传,如有侵犯你的版权,请发邮件admin@haote.com

湘ICP备2022002427号-10 湘公网安备:43070202000427号© 2013~2024 haote.com 好特网