大数据方向怎么样?
大数据这几年挺火的,不少人来问我这个方向怎么样。
什么是大数据
简单说,就是处理海量数据的技术。
当数据量大到传统数据库处理不了的时候,就需要大数据技术。比如:
- 淘宝双11的交易数据
- 抖音每天产生的视频数据
- 各种用户行为日志
这些数据量太大,普通的MySQL扛不住,得用Hadoop、Spark这些分布式技术来处理。
大数据的岗位
大数据方向有几种岗位:
数据开发工程师:搭建数据平台、写ETL任务、做数据仓库。技术栈主要是Hadoop、Hive、Spark、Flink这些。
数据分析师:分析业务数据、做报表、写分析报告。主要用SQL和Python,偏业务一些。
算法工程师:用数据训练模型、做推荐系统、做搜索排序。这个门槛很高,基本要求硕士。
就业情况
说实话吧,大数据的岗位没有想象中那么多。
主要集中在:
- 大厂(阿里、字节、美团这些)
- 数据公司(数据服务商)
- 传统企业的数据部门(银行、电信)
中小公司一般没有大数据岗位,因为他们的数据量还没到需要大数据技术的程度。MySQL就够用了。
学历要求
大数据方向对学历要求比较高。
数据开发还好,本科能找到工作。但如果是算法岗,基本都要求硕士,而且很多要求985。
本科生想做大数据,建议先从数据开发入手。
要不要学大数据
适合学的情况:
- 你是985/211的学生,准备读研
- 你对数据处理特别感兴趣
- 你已经有Java基础,想拓展方向
不建议学的情况:
- 你是双非本科,想快点找工作
- 你在二三线城市
- 你对数据没什么兴趣
我的看法
大数据是个不错的方向,但不适合所有人。
如果你学历一般,或者在小城市,还是老老实实学Java后端吧。大数据的岗位太少了,而且集中在大城市的大公司。
如果你学历不错,对数据也感兴趣,可以考虑。但也要做好心理准备,竞争挺激烈的。
