美國大數(shù)據(jù)工程師面試攻略

項目數(shù)據(jù)分析師分享：美國大數(shù)據(jù)工程師面試攻略
方法/步驟
先做一個自我介紹，本科南開后，加入了一個創(chuàng)業(yè)公司kuxun，做實時信息檢索，后來進入百度基礎(chǔ)架構(gòu)組，搭建了Baidu App Engine的早期版本，隨后去Duke大學(xué)留學(xué)，在攻讀碩士期間，做跟Hadoop大數(shù)據(jù)相關(guān)的研究項目Starfish，之后在Amazon EC2部門實習，了解它們的內(nèi)部架構(gòu)，畢業(yè)后加入Linkedin，做廣告組的架構(gòu)，涉及Hadoop調(diào)優(yōu)，Data Pipeline, Offline/Online, 實時系統(tǒng)。最新是在Coursera從事數(shù)據(jù)工程師工作。在多年工作中，除了對技術(shù)的不懈追求，也積累了大量的面試經(jīng)驗，從國內(nèi)的一線互聯(lián)網(wǎng)百度，阿里巴巴，奇虎，人人，到美國一線公司Facebook，Google，Linkedin，Twitter，Amazon，到熱門Startup，Uber，Pinterest，Airbnb，Box，Dropbox，Snapchat，Houzz，拿到10+ offer，并且在Linkedin期間也面試過100+候選人，參與面試題制定，樂于分享并幫助很多人成功求職，實現(xiàn)目標。
我們看一下這張硅谷地圖，它坐落于美國加州，從圣何塞到舊金山的狹長地帶，中間是San francisco bay，簡稱灣區(qū)。它的由來是這邊有計算機核心處理器中離不開的硅，30年來，硅谷就發(fā)展成為無數(shù)技術(shù)性創(chuàng)業(yè)公司的搖籃。在20多年前，就有很多硬件公司的輝煌Intel，Oracle，Apple，Cisco成功上市，10年前，互聯(lián)網(wǎng)的興起，造就了Yahoo，Google，Ebay的神奇，而如今Tesla，F(xiàn)acebook，Twitter，Linkedin正扶搖直上，成為美股高科技股的領(lǐng)頭羊。這些公司的市值從幾十billion到幾百billion，PE從負數(shù)到上千。瘋狂的估值背后也改變了世界。
如果說硅谷成功是有原因的，我覺得有兩點。地理位置是得天獨厚吸引大量人才，這里有Stanford和加州州立高校提供智力庫的支持，在硅谷可以看到來自全世界的最聰明的人，中國人，印度人，猶太人構(gòu)成這些Engineer的主力。雖然國內(nèi)做技術(shù)自嘲為碼農(nóng)，但在硅谷成為一個優(yōu)秀工程師還是收獲頗豐。另一方面創(chuàng)業(yè)是一個永恒的話題，在Stanford有個說法空氣中都飄揚中創(chuàng)業(yè)的味道，一些早期員工通過上市套現(xiàn)又積累經(jīng)驗成了天使投資，Y Combinator，各種技術(shù)forum，meetup，創(chuàng)業(yè)導(dǎo)師，都很活躍。資本的力量功不可沒，早年VC通過投資，收購，上市放大形成一個雪球效應(yīng)。大家總喜歡問什么是next big thing，哪一個是下一個facebook，下一個musk，根據(jù)統(tǒng)計10年能成就一個千億以上的公司，目前這個進程正在縮短。
我就拿Linkedin作為例子，介紹高科技公司（FLG）是什么樣子。它是成立2003年的職業(yè)社交網(wǎng)站。在10年的發(fā)展中，也不是一下子爆發(fā)的，目前有3億的全球用戶，雖然跟Facebook，Google 10億＋用戶沒法比，但是它有很好的護城河，用戶定位高端精準，單位價值高。這張照片中左邊這位是創(chuàng)始人Reid Hoffman，是Paypal黑幫成員，在硅谷也是呼風喚雨的大佬，目前是董事和投資人。中間這位是CEO Jeff，2013年被Glassdoor評為最佳CEO，作為職業(yè)經(jīng)理人，成功幫助linkedin高速成長，他最喜歡提到transformation，希望我們每個員工能挑戰(zhàn)自我，在各自崗位上進化。Linkedin提供了員工很好的福利，有號稱灣區(qū)最佳的免費食堂，每個月一次的in day，hack day, 幫助員工內(nèi)部創(chuàng)業(yè)的incumbator計劃。它特點是數(shù)據(jù)驅(qū)動的開發(fā)產(chǎn)品，比如 People you may know, Job you may be interested, 我做過Sponroed Ads 都是需要很強數(shù)據(jù)背景和data scientist的支持。它的Biz model也很獨特，有3個line，面向公司的招聘服務(wù)，面向廣告商的市場服務(wù)，面向個人的訂閱服務(wù)，還有最新Sales Solution，因為這么多可能性，成為華爾街的寵兒。
說硅谷，除了那些已經(jīng)成功的大公司，不得不說現(xiàn)在最新的創(chuàng)業(yè)動向，這些代表了未來下一個FLG。我總結(jié)了一些領(lǐng)域和代表公司：云計算(box, dropbox)，大數(shù)據(jù)(cloudera)，消費互聯(lián)網(wǎng)(pinterest)，健康(fitbit)，通訊(snapchat)，支付(square)，生活(uber)。 這里是華爾街網(wǎng)站更新的最新融資規(guī)模，比如Uber就達到18Billion的估值，我當時拿到offer沒去，還是覺得很瘋狂，如果細看這張表，大家可以看到硅谷（藍色）尤其是舊金山它們的融資規(guī)模遠遠大于其他地區(qū)，還是地理決定論。而在國內(nèi)的兩家xiaomi，jingdong都是在北京，而最近大家看到一些泡沫論，說什么阿里巴巴上市是否美股到頂，經(jīng)緯VC創(chuàng)始人也提醒我們泡沫的風險，我無法判斷。如果能參與到下一波浪潮里面去是很過癮的。我推薦大家去看看 <浪潮之巔>，<奇點臨近>，我還是很期待未來20年的技術(shù)革命。
我個人熱愛大數(shù)據(jù)，在硅谷這也是大家津津樂道的，有個笑話，big data is like teenage talking about sex, nobody know how to do it. 其實大家還是興趣驅(qū)動就好，不要那么功利，大數(shù)據(jù)技術(shù)涉及太多，平常工作中也是慢慢積累，有無數(shù)的坑和技術(shù)細節(jié)需要克服。并不是說那個技術(shù)最熱就要用哪個，如果你用不好，你的壓力很大的，舉個例子，你用某個開源數(shù)據(jù)庫，發(fā)現(xiàn)它偶爾有數(shù)據(jù)丟失怎么辦，如果這是線上服務(wù)，你不斷收到報警，這時候你當時選用它的優(yōu)點 scalable，容錯性都沒意義了。接著說大數(shù)據(jù)，這里面Hadoop作為行業(yè)標準，我面過的除了Google，微軟不用，幾乎所有的公司都在用，建議大家利用這個機會。這里面有三巨頭，cloudera是老牌Hadoop咨詢公司，Hadoop的創(chuàng)始人做CTO，Hortonworks也是很多Hadoop的committee，MapR是提出hdfs的erasure 編碼方式高效而著名，它們都是融了巨資，模式也很像，先推出社區(qū)免費版，但有個商業(yè)版提供更好的管理。 而今年出現(xiàn)一匹黑馬，Spark，簡單說就是內(nèi)存級別的計算，比Hadoop框架里能節(jié)約IO，利用緩存，能適應(yīng)批處理，迭代，流式計算。
這里看一下它的生態(tài)系統(tǒng)，如何學(xué)Hadoop是個循序漸進過程，先要理解學(xué)習它的core系統(tǒng)，HDFS, MapReduce, Common，在外圍有無數(shù)的系統(tǒng)工具方便開發(fā)，我個人用過的是 Avro作為數(shù)據(jù)格式，Zookeeper作為選主的高可靠性的組件，Solr作為搜索接口，Pig搭建工作流，Hive 數(shù)據(jù)倉庫查詢，Oozie管理工作流，HBase 作為KV 分布式存儲，mahout數(shù)據(jù)挖掘的庫，Cassandra nosql 數(shù)據(jù)庫。我建議初學(xué)的考慮Chinahadoop的課程。
而Hadoop本身也是個進化過程，幾年前0.19版本，到0.20, 0.23分流成Yarn架構(gòu)最后進化成Hadoop2.0, Hadoop1.0 和 2.0 它們的接口和組件是完全不同的，但總體上Hadoop 2.0 是趨勢，因為它有Yarn這樣分離的資源管理平臺，可以以插件的方式開發(fā)上面的Application，解放了生產(chǎn)力，而像Spark，Storm這些新型處理器也是支持Hadoop 2.0的。這里是Hortonworks它們提出來的社區(qū)版本架構(gòu)，可以說標準的制定者，一流的公司制定標準，其他的公司一般用只能用它們提供的穩(wěn)定版，沒有多少話語權(quán)。但從事大數(shù)據(jù)，并不見得是要去這些制定標準的公司，大量的應(yīng)用也是非?？简灱軜?gòu)的靈活性。并且能看到實際的產(chǎn)品，很有成就感。
說到今年火的，還是要看Spark。從去年至今，已經(jīng)開了2屆Spark大會，上千人的規(guī)模，無數(shù)人對比Hadoop 100倍的性能提升而興奮。這里說它的背景是誕生于Berkeley的Amplab，它們有個很有名的BDAS(Berkeley Data Analytics Stack)，目前Spark已經(jīng)成為Apache的頂級項目。去年這個實驗室的教授跟學(xué)生出去成立Databricks公司，拉到兩輪上千萬的風投，有人成Spark是Hadoop的終結(jié)者嗎？我看今年Spark大會上，所有的Hadoop大佬公司都是鼎力支持，像Cloudrea甚至放棄impala的一線支持而轉(zhuǎn)變成Spark。如果這么發(fā)展下去，星星之火可以燎原啊。它里面用到Scala是一種函數(shù)式語言。里面的組件也很多，有Shark支持SQL類似Hive，有Spark Streaming，MLlib，Graphx，SparkR，BlinkDB。它的核心數(shù)據(jù)結(jié)構(gòu)是RDD，可以跑在各種分布式系統(tǒng)上?？傮w上是個包容性＋侵略性的系統(tǒng)。我個人也很看好它們的發(fā)展。

系統(tǒng)集成工程師需要具備哪些技能

系統(tǒng)集成 需要的技能有： 1：網(wǎng)絡(luò) 基礎(chǔ)知識：深刻理解網(wǎng)絡(luò)基本概念，例如ISO/OSI、TCP/IP、VLAN、各種LAN、WAN協(xié)議、各種路由協(xié)議、NAT等等 2：主機 基礎(chǔ)知識：熟悉服務(wù)器的基本知識，例如各種RAID、各種外設(shè)、SCSI卡等等 3：數(shù)據(jù)庫與 中間件 基礎(chǔ)知識：深刻理解數(shù)據(jù)庫的基本概念，會使用簡單的SQL語句，了解數(shù)據(jù)庫復(fù)制、 數(shù)據(jù)倉庫 等高級概念 4：安全 基礎(chǔ)知識：深刻理解網(wǎng)絡(luò)安全的重要性，了解各種安全設(shè)備的作用 5：存儲和備份 基礎(chǔ)知識：了解存儲的基本概念和主流廠商，了解磁帶、DAS、NAS、SAN的基本概念 備份：深刻理解備份的重要作用，了解主流備份軟件諸如ARC Server、NetBackup等軟件的安裝、配置和使用、熟悉主流數(shù)據(jù)庫的備份方法和策略 6：音視頻 視頻會議：了解視頻會議的基本概念、組成部分和協(xié)議，了解主流的視頻終端和MCU，能夠獨立操作 泰德 的視頻終端和Radvision的MCU 視頻點播：了解視頻點播和 流媒體 的基本概念、組成部分和協(xié)議，能夠安裝和配置視頻點播所需要的軟件（RealServer等）和硬件（視頻采集卡等） VOIP：了解VOIP的的基本概念和應(yīng)用，了解語音網(wǎng)關(guān)和語音關(guān)守，能夠配置VoIP 組播：了解組播的基本概念和應(yīng)用以及組播路由協(xié)議，能夠配置簡單的組播 ，各種音視頻設(shè)備：了解各種音頻、視頻設(shè)備以及各種線纜。 7：應(yīng)用 HTTP：FTP：Mail：DNS：和其他系統(tǒng)應(yīng)用 公 8：弱電 了解綜合布線、門禁、監(jiān)控、智能建筑等基本概念，熟練制作各種網(wǎng)絡(luò)線纜 9：其他專項技術(shù) 高可用性：理解高可用性的概念，能夠安裝配置IBM HACMP、Rose、Sun Cluster的安裝、配置和維護 UPS：熟悉UPS的基礎(chǔ)知識、自己能夠獨立安裝小型UPS、熟悉各種電纜 電信：熟悉各種電信線路，了解電信的各種信令 WLAN：了解 無線局域網(wǎng) 的基本概念和組成部分 網(wǎng)絡(luò)管理：了解網(wǎng)絡(luò)管理的作用和網(wǎng)絡(luò)管理協(xié)議（SNMP、RMON等），能夠使用Cisco Ciscoworks、Nortel Optivity、HP OpenView等產(chǎn)品，能夠用Sniffer等軟件對網(wǎng)絡(luò)進行監(jiān)控和排錯 10：項目管理 深刻理解項目管理中的基本概念，能用運用項目管理中的知識指導(dǎo)自己的項目

美國電子工程專業(yè)發(fā)展前景如何

美國電子工程專業(yè)就業(yè)方向非常廣泛非常廣泛，包括：互聯(lián)網(wǎng)軟硬件的研發(fā)；通訊協(xié)議及系統(tǒng)/網(wǎng)絡(luò)的開發(fā)；集成電路及芯片開發(fā)：電腦主板、CPU或者顯卡上的芯片的開發(fā)都屬于這一類別；精密儀器設(shè)計開發(fā)人工智能及機器人研發(fā)：結(jié)合計算機科學(xué)和控制系統(tǒng)工程；新能源研發(fā)：光能和風能研發(fā)，新能源汽車、電池研發(fā)，以及能源轉(zhuǎn)化率和能源利用率的提升研究等等，下面由我?guī)Т蠹以敿毩私饷绹娮庸こ虒I(yè)發(fā)展前景如何。

美國電子工程專業(yè)發(fā)展前景如何

一、美國電子工程專業(yè)就業(yè)方向

EE專業(yè)就業(yè)方向非常廣泛，包括：

互聯(lián)網(wǎng)軟硬件的研發(fā)

通訊協(xié)議及系統(tǒng)/網(wǎng)絡(luò)的開發(fā)

集成電路及芯片開發(fā)：電腦主板、CPU或者顯卡上的芯片的開發(fā)都屬于這一類別；

精密儀器設(shè)計開發(fā)

人工智能及機器人研發(fā)：結(jié)合計算機科學(xué)和控制系統(tǒng)工程；

新能源研發(fā)：光能和風能研發(fā)，新能源汽車、電池研發(fā)，以及能源轉(zhuǎn)化率和能源利用率的提升研究

電力方向：從事智能電網(wǎng)研究

根據(jù)全球最大招聘搜索引擎Indeed 平臺公開發(fā)布的數(shù)據(jù)，電氣工程專業(yè)相關(guān)從業(yè)者年薪大致在九萬美金左右。如果從業(yè)者具有系統(tǒng)分析能力，擁有相關(guān)專業(yè)教育背景并獲得學(xué)位，以及專業(yè)資格證如注冊工程師PE，那么薪資將更加豐厚。

二、美國電子工程專業(yè)分支

通訊與網(wǎng)絡(luò)（Telecommunications and Network）

計算機工程（Computer Engineering）

信號處理（Signal Processing）

系統(tǒng)控制（Control Systems/Control）

電子學(xué)（Electronics）

集成電路 （Integrated Circuit）

光子學(xué)與光學(xué)（Optics and Photonics）

電力技術(shù) （Electric Power Technology）

微機電系統(tǒng)（Micro-Electro-Mechanical Systems）

電磁學(xué)（Electromagnetics）

三、美國電氣與電子工程專業(yè)排名 TOP30

1 麻省理工學(xué)院 Massachusetts Institute of Technology

2 斯坦福大學(xué) Stanford University

2 加州大學(xué)伯克利分校 University of California--Berkeley

4 加州理工學(xué)院 California Institute of Technology

4 伊利諾伊大學(xué)厄本那-香檳分校 University of Illinois--Urbana-Champaign

6 佐治亞理工學(xué)院 Georgia Institute of Technology

6 密歇根大學(xué)安娜堡分校 University of Michigan--Ann Arbor

8 卡耐基梅隆大學(xué) Carnegie Mellon University

9 康奈爾大學(xué) Cornell University

9 普林斯頓大學(xué) Princeton University

9 德克薩斯大學(xué)奧斯汀分校 University of Texas--Austin （Cockrell）

12 普渡大學(xué)西拉法葉分校 Purdue University--West Lafayette

13 哥倫比亞大學(xué) Columbia University （Fu Foundation）

13 加州大學(xué)洛杉磯分校 University of California--Los Angeles （Samueli）

13 加州大學(xué)圣地亞哥分校 University of California--San Diego （Jacobs）

16 馬里蘭大學(xué)學(xué)院公園分校 University of Maryland--College Park （Clark）

16 南加州大學(xué) University of Southern California （Viterbi）

16 威斯康辛大學(xué)麥迪遜分校 University of Wisconsin--Madison

19 約翰霍普金斯大學(xué) Johns Hopkins University （Whiting）

19 加州大學(xué)圣塔芭芭拉分校 University of California--Santa Barbara

19 華盛頓大學(xué) University of Washington

19 弗吉尼亞理工學(xué)院 Virginia Tech

23 杜克大學(xué) Duke University （Pratt）

23 哈佛大學(xué) Harvard University

23 西北大學(xué) Northwestern University （McCormick）

23 萊斯大學(xué) Rice University （Brown）

23 德州農(nóng)工大學(xué) Texas A&M University--College Station

23 明尼蘇達大學(xué)雙城分校 University of Minnesota--Twin Cities

23 賓夕法尼亞大學(xué) University of Pennsylvania

30 俄亥俄州立大學(xué) Ohio State University