陇南锨炼化妆品有限公司

首頁 > 簡歷攻略 > ETL工程師是做什么的?

ETL工程師是做什么的?

2024-01-09 09:14:05

ETL工程師是做什么的?

BI工程師、數(shù)據(jù)倉庫工程師、ETL工程師都屬于大數(shù)據(jù)工程技術(shù)人員,三種的主要區(qū)別

BI工程師、數(shù)據(jù)倉庫工程師、ETL工程師都屬于大數(shù)據(jù)工程技術(shù)人員,三種的主要區(qū)別如下:

一、工作內(nèi)容不同

1、BI工程師:主要是報(bào)表開發(fā),負(fù)責(zé)開發(fā)工作。

2、數(shù)據(jù)庫工程師:主要負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)庫從設(shè)計(jì)、測試到部署交付的全生命周期管理。

3、ETL工程師:從事系統(tǒng)編程、數(shù)據(jù)庫編程與設(shè)計(jì)。

二、要求不同

1、BI工程師:要有一定的數(shù)據(jù)庫經(jīng)驗(yàn),掌握SQL查詢優(yōu)化方法,精通Oracle、SQLServer、MySQL等主流數(shù)據(jù)庫的應(yīng)用設(shè)計(jì)、性能調(diào)優(yōu)及存儲(chǔ)過程的開發(fā)。

2、數(shù)據(jù)庫工程師:理解數(shù)據(jù)備份/恢復(fù)與災(zāi)難恢復(fù);工具集的使用。

3、ETL工程師:要掌握各百種常用的編程語言。

三、特點(diǎn)不同

1、BI工程師:熟悉ETL邏輯、OLAP設(shè)計(jì)和數(shù)據(jù)挖掘相關(guān)算法。

2、數(shù)據(jù)庫工程師:凡是關(guān)系到數(shù)據(jù)庫質(zhì)量、效率、成本、安全等方面的工作,及涉及到的技術(shù)、組件,都在數(shù)據(jù)庫工程師的技術(shù)范疇里。

3、ETL工程師:海量數(shù)據(jù)的ETL開發(fā),抽取成各種數(shù)據(jù)需求。

參考資料來源:

百度百科-數(shù)據(jù)庫工程師

百度百科-大數(shù)據(jù)工程技術(shù)人員

ETL工程師是做什么的?

大數(shù)據(jù)工程師和大數(shù)據(jù)開發(fā)工程師的職能有何區(qū)別

大數(shù)據(jù)工程師和大數(shù)據(jù)開發(fā)工程師兩者之間沒有區(qū)別。大數(shù)據(jù)工程師指的就是大數(shù)據(jù)開發(fā)工程師。大數(shù)據(jù)工程師(即大數(shù)據(jù)開發(fā)工程師)從事大數(shù)據(jù)采集、清洗、分析、治理、挖掘等技術(shù)研究,并加以利用、管理、維護(hù)和服務(wù)。

大數(shù)據(jù)工程師(即大數(shù)據(jù)開發(fā)工程師)的職能如下:

1、大數(shù)據(jù)采集(爬蟲)、大數(shù)據(jù)清洗(ETL工程師)、大數(shù)據(jù)建模(算法工程師)與大數(shù)據(jù)分析(數(shù)據(jù)分析員)。

2、管理、分析展現(xiàn)及應(yīng)用等技術(shù)(大數(shù)據(jù)開發(fā)工程師)。

3、研究、應(yīng)用大數(shù)據(jù)平臺(tái)體系架構(gòu)、技術(shù)和標(biāo)準(zhǔn)。

4、設(shè)計(jì)、開發(fā)、集成、測試大數(shù)據(jù)軟硬件系統(tǒng)。

5、管理、維護(hù)并保障大數(shù)據(jù)系統(tǒng)穩(wěn)定運(yùn)行。

6、監(jiān)控、管理和保障大數(shù)據(jù)安全。

7、提供大數(shù)據(jù)的技術(shù)咨詢和技術(shù)服務(wù)。

擴(kuò)展資料:

大數(shù)據(jù)工程師(即大數(shù)據(jù)開發(fā)工程師)的技能要求:

1、精通Java技術(shù)知識(shí),熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等應(yīng)用設(shè)計(jì)及開發(fā)。

2、了解python/shell等腳本語言。

3、熟悉大數(shù)據(jù)平臺(tái)架構(gòu),對(duì)ETL、數(shù)據(jù)倉庫等有一定了解。

4、有數(shù)據(jù)可視化、數(shù)據(jù)分析、數(shù)學(xué)模型建立相關(guān)經(jīng)驗(yàn)者優(yōu)先考慮。

5、有爬蟲系統(tǒng)開發(fā)經(jīng)驗(yàn)者優(yōu)先。

ETL工程師是做什么的?

ETL工程師是做什么的?

ETL工程師又叫 數(shù)據(jù)庫工程師

ETL工程師的主要工作內(nèi)容有:從事系統(tǒng)編程、數(shù)據(jù)庫編程與設(shè)計(jì)。ETL是 數(shù)據(jù)倉庫 中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對(duì)于 關(guān)系數(shù)據(jù)庫 ,數(shù)據(jù)倉庫技術(shù)沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ),它更面向?qū)嶋H工程應(yīng)用。

所以從工程應(yīng)用的角度來考慮,按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行一些系列處理,處理過程與經(jīng)驗(yàn)直接相關(guān),同時(shí)這部分的工作直接關(guān)系數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量,從而影響到 聯(lián)機(jī)分析處理 和數(shù)據(jù)挖掘的結(jié)果的質(zhì)量。

職業(yè)前景

從業(yè)務(wù)角度講,隨著數(shù)據(jù)應(yīng)用的日益豐富,不同平臺(tái)、系統(tǒng)的相互大批量數(shù)據(jù)交互成常態(tài),僅僅滿足于采集數(shù)據(jù)已經(jīng)不適應(yīng)業(yè)務(wù)需要,還需要能夠?yàn)閿?shù)據(jù)的目的端落地提供支撐,ETL工程師需要一個(gè)端到端的更適應(yīng)業(yè)務(wù)需要的數(shù)據(jù)交換系統(tǒng)。

從技術(shù)角度講,ETL做一定的擴(kuò)展可以升級(jí)為兼具交換能力,兩者有傳承,可以實(shí)現(xiàn)平滑過渡,但交換卻要考慮用另一個(gè)工具實(shí)現(xiàn),同時(shí)未來大數(shù)據(jù)平臺(tái)組件將異常豐富,相互之間的數(shù)據(jù)交換將是常態(tài),必要要有更高級(jí)別的交換工具滿足這些需求。

上一篇:工程測量具體是做些什么的,測量什么的?還有施工員具體要做的是什么? 下一篇:項(xiàng)目工程師工作職責(zé)都有什么

聯(lián)系我們 | 關(guān)于我們 | 公司介紹 | 常見問題

腳步網(wǎng),高端簡歷在線制作平臺(tái),各行各業(yè)的簡歷模板應(yīng)有盡有

版權(quán)所有 2012-2021 腳步網(wǎng) 瓊ICP備2023002197號(hào)-5

信阳市| 家居| 乐业县| 蓝田县| 江口县| 元氏县| 白水县| 嘉兴市| 海安县| 尼勒克县| 通辽市| 繁峙县| 遂溪县| 德惠市| 鄂尔多斯市| 长武县| 湖南省| 万源市| 阆中市| 安平县| 汝城县| 宜兰县| 正宁县| 香格里拉县| 广西| 文安县| 合水县| 乌拉特后旗| 满洲里市| 休宁县| 峨山| 武隆县| 黄浦区| 黑河市| 汶上县| 扶风县| 疏勒县| 肥西县| 牡丹江市| 盐山县| 益阳市|