大數(shù)據(jù)開發(fā)工程師是做什么

簡單粗略來說就是用工具實現(xiàn) 大數(shù)據(jù)分析 后所需要得出的結(jié)果。簡單理解，大 數(shù)據(jù)開發(fā) 就是制造軟件的，只是與大數(shù)據(jù)相關(guān)而已，通常用到的就是與大數(shù)據(jù)相關(guān)的開發(fā)工具、環(huán)境等等。大數(shù)據(jù)開發(fā)其實分兩種，第一類是編寫一些Hadoop、Spark的 應(yīng)用程序 ，第二類是對大數(shù)據(jù)處理系統(tǒng)本身進行開發(fā)。第一類工作感覺更適用于data analyst這種職位吧，而且現(xiàn)在Hive Spark-SQL這種系統(tǒng)也提供SQL的接口。第二類工作的話通常才大公司里才有，一般他們都會搞自己的系統(tǒng)或者再對開源的做些二次開發(fā)。這種工作的話對理論和實踐要求的都更深一些，也更有技術(shù)含量。

大數(shù)據(jù)運維工程師的基本職責(zé)

大數(shù)據(jù)運維工程師需要處理公司大數(shù)據(jù)平臺各類異常和故障，確保系統(tǒng)平臺的穩(wěn)定運行。下面是我為您精心整理的大數(shù)據(jù)運維工程師的基本職責(zé)。

大數(shù)據(jù)運維工程師的基本職責(zé)1

職責(zé):

1、技術(shù)保障各底層支撐系統(tǒng)的可靠性與穩(wěn)定性;

2、負責(zé)車輛網(wǎng)平臺的運行監(jiān)控的解決方案編制、實施與二次功能開發(fā);

3、負責(zé)技術(shù)文檔手冊編寫，更新，經(jīng)驗總結(jié)沉淀，培訓(xùn)分享;

4、負責(zé)對新技術(shù)和方案進行調(diào)研，評估和引進，用技術(shù)去提升運維生產(chǎn)效率

任職資格:

1、熟悉常見的應(yīng)用服務(wù)部署和調(diào)優(yōu)(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負載均衡集群的規(guī)劃與搭建;

2、熟練使用Linux、TCP/IP網(wǎng)絡(luò)協(xié)議棧，了解常用的Troubleshooting手段和常見性能指標(biāo)

3、具有車聯(lián)網(wǎng)平臺運維的經(jīng)驗，精于容量規(guī)劃、架構(gòu)設(shè)計、性能優(yōu)化;

4、熟悉主流PaaS云產(chǎn)品的使用，具有運維平臺開發(fā)經(jīng)驗者、參與過開源產(chǎn)品的開發(fā)者優(yōu)先;

5、優(yōu)秀的溝通能力，出色的學(xué)習(xí)與鉆研能力，良好的問題分析與解決能力;

6、對行業(yè)技術(shù)敏感度高且細致，善于思考，樂于發(fā)現(xiàn)，對解決具有挑戰(zhàn)性問題充滿激情。

大數(shù)據(jù)運維工程師的基本職責(zé)2

職責(zé)：

1、負責(zé)維護服務(wù)器的運行，包括巡檢、故障排除、數(shù)據(jù)備份等業(yè)務(wù)，保證服務(wù)器高質(zhì)量、高效率運行狀態(tài);

2、負責(zé)服務(wù)器漏洞整改及補丁升級;

3、負責(zé)hadoop運維相關(guān)工作;

4、負責(zé)大數(shù)據(jù)平臺的日常部署、升級、擴容、遷移;

5、負責(zé)高并發(fā)，大存儲和實時流的Hadoop/spark大數(shù)據(jù)平臺規(guī)劃，運維，監(jiān)控和優(yōu)化工作。

任職資格：

1、2年左右服務(wù)器運維經(jīng)驗;

2、對linux基礎(chǔ)運維命令熟悉，shell,python至少精通一種，如會scala語言可優(yōu)先考慮;

3、熟悉Linux的維護和管理，熟悉bat及Shell腳本開發(fā)，能看懂Python/Scala優(yōu)先;

4、做過大規(guī)模hadoop集群優(yōu)先;

5、大數(shù)據(jù)項目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數(shù)據(jù)生態(tài)的平臺搭建，監(jiān)控，運維，調(diào)優(yōu)、生產(chǎn)環(huán)境hadoop集群trouble shooting 、hadoop版本升級管理及優(yōu)化支持。

大數(shù)據(jù)運維工程師的基本職責(zé)3

職責(zé):

1、負責(zé)Hadoop平臺搭建，運維，管理，故障處理。

2、負責(zé)保障大數(shù)據(jù)平臺的高效運轉(zhuǎn)、提升系統(tǒng)穩(wěn)定性和安全性。

3、對平臺的Hadoop，Hbase，Kafka，Hive等進行優(yōu)化。

4、建立Hadoop集群管理和維護規(guī)范，包括版本管理和變更記錄等。

崗位要求:

1、有豐富的Hadoop生態(tài)系統(tǒng)的運維經(jīng)驗，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實施、維護hadoop 及相關(guān)組件的能力;

2、至少精通 Perl/Python/Shell腳本語言中的一種;

3、掌握Linux操作系統(tǒng)的配置，管理、優(yōu)化以及各種常用命令，能夠獨立排查及解決操作系統(tǒng)層的各類問題;

4、分析問題能力優(yōu)秀，善于從各種系統(tǒng)、應(yīng)用日志中尋找出問題的原因。

5、有獨立分析問題和解決問題的能力，能出差。

大數(shù)據(jù)運維工程師的基本職責(zé)4

職責(zé)：

1.負責(zé)Hadoop、spark、hbase、oozie、hive等平臺運營和優(yōu)化工作，保障平臺服務(wù)運行穩(wěn)定、高效。

2.負責(zé)大數(shù)據(jù)方案架構(gòu)及方案落地;

3.開發(fā)Hadoop大數(shù)據(jù)管理平臺與監(jiān)控建設(shè);

3.負責(zé)hadoop平臺部署、維護;生產(chǎn)問題、告警、故障處理及服務(wù)器維護、日常值班;

4.負責(zé)集群網(wǎng)絡(luò)架構(gòu)、機器管理等。

任職資格：

1. 全日制本科以上學(xué)歷，三年以上后臺系統(tǒng)運營工作經(jīng)驗;

2. 熟悉hadoop原理，具有Hadoop平臺應(yīng)用及管理經(jīng)驗，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開源項目及部署、維護、調(diào)優(yōu);

3. 熟悉linux操作系統(tǒng)及調(diào)優(yōu);熟悉sql編程，熟悉Shell/Python/Java/Perl語言的一種或多種，有開發(fā)經(jīng)驗優(yōu)先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優(yōu)先;

4. 對大數(shù)據(jù)和自動化運維開發(fā)有濃厚興趣，有大規(guī)模hadoop運維經(jīng)驗者優(yōu)先;有hadoop/hbase/spark/hive 開發(fā)經(jīng)驗者優(yōu)先。

大數(shù)據(jù)運維工程師的基本職責(zé)5

職責(zé)：

1. 負責(zé)大數(shù)據(jù)平臺的穩(wěn)定性和性能優(yōu)化;

2. 負責(zé)大數(shù)據(jù)項目的運維工作;

3. 針對業(yè)務(wù)需求制定統(tǒng)一的運維解決方案;

4. 完善自動監(jiān)控報警系統(tǒng)，對業(yè)務(wù)層面關(guān)鍵指標(biāo)進行監(jiān)控與報警通知;

任職要求：

1、熟練掌握hadoop平臺搭建、維護，有平臺優(yōu)化經(jīng)驗;

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優(yōu)先;

3、熟悉騰訊云產(chǎn)品，有騰訊云EMR使用經(jīng)驗者優(yōu)先考慮;

大數(shù)據(jù)開發(fā)工程師需要具備哪些技能

大數(shù)據(jù)開發(fā)工程師需要具備的技能如下：

簡單來說，大數(shù)據(jù)工程師需要負責(zé)創(chuàng)建和維護數(shù)據(jù)分析基礎(chǔ)架構(gòu)，包括大數(shù)據(jù)架構(gòu)的開發(fā)、構(gòu)建、維護和測試，例如數(shù)據(jù)庫和大數(shù)據(jù)處理系統(tǒng)。另外，還負責(zé)大數(shù)據(jù)工程師還負責(zé)創(chuàng)建用于建模，挖掘，獲取和驗證數(shù)據(jù)集合等流程。

1、大數(shù)據(jù)架構(gòu)工具與組件

企業(yè)大數(shù)據(jù)框架的搭建，多是選擇基于開源技術(shù)框架來實現(xiàn)的，這其中就包括Hadoop、Spark、Storm、Flink為主的一系列組件框架，及其生態(tài)圈組件。

2、深入了解SQL和其它數(shù)據(jù)庫解決方案

大數(shù)據(jù)工程師需要熟悉數(shù)據(jù)庫管理系統(tǒng)，深入了解SQL。同樣其它數(shù)據(jù)庫解決方案，例如Cassandra或MangoDB也須熟悉，因為不是每個數(shù)據(jù)庫都是由可識別的標(biāo)準(zhǔn)來構(gòu)建。

3、數(shù)據(jù)倉庫和ETL工具

數(shù)據(jù)倉庫和ETL能力對于大數(shù)據(jù)工程師至關(guān)重要。像Redshift或Panoply這樣的數(shù)據(jù)倉庫解決方案，以及ETL工具，比如StitchData或Segment都非常有用。

4、基于Hadoop的分析(HBase，Hive，MapReduce等)

對基于Apache Hadoop的數(shù)據(jù)處理框架，需要有深入的了解，至少HBase，Hive和MapReduce的知識存儲是必需的。

5、編碼

編碼與開發(fā)能力是作為大數(shù)據(jù)工程師的重要要求，主要掌握Java、Scala、Python三門語言，這在大數(shù)據(jù)當(dāng)中非常關(guān)鍵。