每日快訊!大數(shù)據(jù)工程師：讓數(shù)據(jù)“活”起來

來源：經(jīng)濟(jì)日報(bào)

將大量、多樣的數(shù)據(jù)信息匯聚、打通、管理、使用；用26個英文字母和一些標(biāo)點(diǎn)符號寫出一行行代碼，變成大眾應(yīng)用的各類應(yīng)用軟件和系統(tǒng)……這便是中電萬維信息技術(shù)有限責(zé)任公司生態(tài)環(huán)境平臺部大數(shù)據(jù)工程師張杰的日常工作內(nèi)容。

讓數(shù)據(jù)“活”起來服務(wù)大眾，是大數(shù)據(jù)工程師的工作。在外人眼里，每天和數(shù)據(jù)打交道的他們很神秘，而在他們自己眼中，這項(xiàng)工作既枯燥又有趣，也很有成就感。


(資料圖)

搭建管理平臺

信息時代數(shù)據(jù)無處不在，怎樣使其得到高效利用，從而服務(wù)于社會，是大數(shù)據(jù)工程師們肩負(fù)的責(zé)任，也是他們面臨的挑戰(zhàn)。

“甘肅省全省生態(tài)環(huán)境的總數(shù)據(jù)量有30多億條，目前數(shù)據(jù)共享有4個數(shù)據(jù)項(xiàng)，數(shù)據(jù)量可以達(dá)到3200多萬條……”張杰指著電腦顯示屏上甘肅省生態(tài)環(huán)境監(jiān)測大數(shù)據(jù)管理平臺的生態(tài)環(huán)境宏觀決策分析界面說。

2017年，張杰從甘肅農(nóng)業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)畢業(yè)后，就一直從事大數(shù)據(jù)相關(guān)工作。從最初接觸這個行業(yè)到成為業(yè)務(wù)骨干，他一邊磨練技術(shù)，一邊見證著大數(shù)據(jù)行業(yè)的飛速發(fā)展。

“以前單體項(xiàng)目的數(shù)據(jù)匯總非常麻煩，而且有些數(shù)據(jù)沒經(jīng)過層層審核，準(zhǔn)確度不高。”張杰說，以前數(shù)據(jù)處理要通過線上和線下的不同方式，與涉及各項(xiàng)數(shù)據(jù)的不同部門一一對接。如果對接到的數(shù)據(jù)是線下表格或文檔等非結(jié)構(gòu)化數(shù)據(jù)，還需要付出大量時間和精力進(jìn)行整理和解析，工作十分繁瑣。

2018年，公司接觸到大數(shù)據(jù)相關(guān)數(shù)據(jù)庫和處理工具，便開始對文檔、音頻、視頻等信息進(jìn)行智能整理。張杰說，“2018年之前，我們還從堆積如山的文檔資料中尋找想要的核心信息，有了大數(shù)據(jù)處理手段，一切變得輕松起來”。

2019年，張杰和同事們開始參與單體應(yīng)用項(xiàng)目，用大數(shù)據(jù)解決單一的業(yè)務(wù)問題。此后，逐漸搭建起了大數(shù)據(jù)管理平臺，將各個業(yè)務(wù)系統(tǒng)封閉的數(shù)據(jù)進(jìn)行統(tǒng)一匯聚、治理、分析、服務(wù)，形成協(xié)同應(yīng)用，并完成了甘肅生態(tài)環(huán)境監(jiān)測大數(shù)據(jù)平臺的驗(yàn)收交付。

打通數(shù)據(jù)“孤島”

大數(shù)據(jù)，顧名思義就是大量的數(shù)據(jù)、海量的資料，包括常規(guī)數(shù)據(jù)和圖表等多種形式。如何以“聚、通、管、用”等方式打通數(shù)據(jù)“孤島”，實(shí)現(xiàn)更廣泛的應(yīng)用，是大數(shù)據(jù)工程師主要思考的問題。

“比如大氣、土壤和水3個數(shù)據(jù)，都有各自的監(jiān)測指標(biāo)，不能單憑一個指標(biāo)就判定一個區(qū)域的環(huán)境質(zhì)量，要把幾項(xiàng)數(shù)據(jù)打通，找到他們的共同性、關(guān)聯(lián)性，然后通過綜合評判，才能知道整體的生態(tài)環(huán)境怎么樣?！睆埥芨嬖V記者，在大數(shù)據(jù)處理中，第一步就是要把大量數(shù)據(jù)收集、匯聚起來，第二步就是要打通各類數(shù)據(jù)之間的壁壘，為后期的管理和運(yùn)用打下基礎(chǔ)。

“通俗來講，就是要通過頂層規(guī)劃設(shè)計(jì)，建立起數(shù)據(jù)臺賬。相當(dāng)于目錄和標(biāo)簽，在使用過程中結(jié)合實(shí)際業(yè)務(wù)需求，可以隨時進(jìn)行檢索?！睆埥苷f。

“一個單一的數(shù)據(jù)只包含單一信息，但把這個數(shù)據(jù)最大化地使用起來，用完后把結(jié)果返回，作為一個新的數(shù)據(jù)存儲，如此循環(huán)，整個數(shù)據(jù)就能包含更多信息，就‘活’了起來?！睆埥苷f。

增強(qiáng)學(xué)習(xí)能力

有時會感到枯燥，有時會有挫敗感，有時又很有成就感，這就是大數(shù)據(jù)工程師的真實(shí)寫照。

“一個看似簡單的微信公眾號頁面，后臺要通過成千上萬的代碼來實(shí)現(xiàn)。這些業(yè)外人士看不懂的代碼，就是我們對外交流的語言?！睆埥苷f，大數(shù)據(jù)工程師的工作就在幕后。

“自己悶頭敲了半天代碼，突然出來結(jié)果，那個時候特別有成就感；如果長時間沒有結(jié)果，也難免產(chǎn)生挫敗感?！睆埥苷f。

張杰清楚地記得，參加工作之初，要寫個三級聯(lián)動小程序，他一周都沒寫出來，感到苦惱。后來，在師傅幫助下，他才寫出來小程序。但完成后，他又刪除了這個程序，從頭開始反復(fù)寫、反復(fù)琢磨，直到慢慢上手，有了一些心得。通過工作經(jīng)驗(yàn)的積累，他如今正基于現(xiàn)有的平臺不斷嘗試，進(jìn)行新的研發(fā)建設(shè)工作，也逐漸找到了這項(xiàng)工作的意義。

“大數(shù)據(jù)技術(shù)發(fā)展得很快，一個新概念出現(xiàn)了，還沒來得及弄太明白，市面上就已經(jīng)出現(xiàn)相應(yīng)應(yīng)用產(chǎn)品。這對我們大數(shù)據(jù)工程師來說，總是充滿挑戰(zhàn)?！睆埥苷f，大數(shù)據(jù)技術(shù)發(fā)展日新月異，為了不讓自己掉隊(duì)，他會積極參加公司定期組織的學(xué)習(xí)、培訓(xùn)，還會通過自學(xué)、企業(yè)外聘專業(yè)老師授課培訓(xùn)等多種形式學(xué)習(xí)新技術(shù)、新業(yè)務(wù)?！叭绻粚W(xué)習(xí)就跟不上了，所以一刻都不能放松?！睆埥苷f，他會緊跟大數(shù)據(jù)技術(shù)發(fā)展的步伐，不斷充實(shí)自己。 （經(jīng)濟(jì)日報(bào)記者 趙 梅）

標(biāo)簽：

推薦

財(cái)富更多》

動態(tài)更多》

熱點(diǎn)