阿里云大數(shù)據(jù)工程師acp認(rèn)證考試大綱

阿里云大數(shù)據(jù)工程師acp認(rèn)證考試大綱

阿里云大數(shù)據(jù)工程師（acp）認(rèn)證介紹：

阿里云大數(shù)據(jù)專業(yè)認(rèn)證（acp 級(jí) －Alibaba Cloud Certification Professional）是面向使用阿里云大數(shù)據(jù)產(chǎn)品的架構(gòu)、開發(fā)、運(yùn)維類人員的專業(yè)技術(shù)認(rèn)證，主要涉及阿里云大數(shù)據(jù)類的幾款核心產(chǎn)品，包括大數(shù)據(jù)計(jì)算服務(wù)MaxCompute、數(shù)據(jù)工場(chǎng) DataWorks、數(shù)據(jù)集成、Quick BI、機(jī)器學(xué)習(xí) PAI 等。

通過該技術(shù)認(rèn)證可以有效證明該認(rèn)證人員具備以下能力：

1、具備大數(shù)據(jù)的存儲(chǔ)、處理、分析以及展現(xiàn)的基礎(chǔ)知識(shí)。

2、能夠根據(jù)企業(yè)的業(yè)務(wù)需求，基于阿里云的產(chǎn)品制定有效的技術(shù)解決方案和企業(yè)最佳實(shí)踐。

3、能夠熟練的使用阿里云的大數(shù)據(jù)計(jì)算服務(wù) MaxCompute、數(shù)據(jù)工場(chǎng)DataWorks、數(shù)據(jù)集成、QuickBI 以及機(jī)器學(xué)習(xí) PAI 等產(chǎn)品。

4、能夠診斷基于阿里云大數(shù)據(jù)產(chǎn)品構(gòu)建的業(yè)務(wù)系統(tǒng)在運(yùn)行中出現(xiàn)的常見問題并找到相應(yīng)的解決方案。

大數(shù)據(jù)工程師acp認(rèn)證線下上機(jī)考試試卷內(nèi)容范圍：

一、大數(shù)據(jù)計(jì)算服務(wù)考試內(nèi)容：

（1）熟悉大數(shù)據(jù)計(jì)算服務(wù)基本概念，包括項(xiàng)目空間、表、分區(qū)、資源、任務(wù)等。

（2）了解大數(shù)據(jù)計(jì)算服務(wù)的組成架構(gòu)和各組成部分功能。

（3）掌握大數(shù)據(jù)計(jì)算服務(wù)的特點(diǎn)、優(yōu)勢(shì)以及適用場(chǎng)景。

（4）掌握大數(shù)據(jù)計(jì)算服務(wù)的連接和使用方式，包括使用客戶端、管理控制臺(tái)、Java SDK 等。

（5）掌握大數(shù)據(jù)計(jì)算服務(wù)的數(shù)據(jù)上傳和下載，可以熟練的使用Tunnel 命令行工具，了解 Tunnel SDK。

（6）掌握大數(shù)據(jù)計(jì)算服務(wù)的 SQL 命令，包括 DDL、DML 以及常見內(nèi)置函數(shù)。

（7）熟悉大數(shù)據(jù)計(jì)算服務(wù)的用戶自定義函數(shù)，包括 UDF、UDAF以及 UDTF，可以編寫簡(jiǎn)單的自定義函數(shù)。

（8）熟悉大數(shù)據(jù)計(jì)算服務(wù)的 MapReduce 編程框架，可以配置Eclipse 的環(huán)境，編寫簡(jiǎn)單的 MR 程序。

（9）了解大數(shù)據(jù)計(jì)算服務(wù)的 Graph 編程框架，包括基本概念、處理流程等，可以編寫簡(jiǎn)單的 Graph 程序。

（10）了解大數(shù)據(jù)計(jì)算服務(wù) DataHub 的相關(guān)概念和使用方法。

（11）熟悉大數(shù)據(jù)計(jì)算服務(wù)的安全和權(quán)限管理的概念和實(shí)際操作， 包括用戶、角色、授權(quán)（ACL&Policy）、項(xiàng)目空間保護(hù)、例外以及安全等級(jí)等。

二、數(shù)據(jù)工場(chǎng) DataWorks 考試內(nèi)容：

（1）熟悉 DataWorks 的基本功能模塊，包括數(shù)據(jù)開發(fā)、數(shù)據(jù)管理、運(yùn)維中心、組織管理以及項(xiàng)目管理等。

（2）了解 DataWorks 的基本特點(diǎn)，包括角色隔離、環(huán)境隔離等。

（3）可以使用項(xiàng)目管理和組織管理模塊搭建環(huán)境。

（4）熟練使用 DataWorks 的數(shù)據(jù)開發(fā)模塊進(jìn)行設(shè)計(jì)開發(fā)，包括建表、任務(wù)開發(fā)、資源上傳、數(shù)據(jù)上傳、新增函數(shù)等。

（5）熟練使用 DataWorks 的數(shù)據(jù)開發(fā)模塊進(jìn)行工作流任務(wù)和節(jié)點(diǎn)任務(wù)的開發(fā)設(shè)計(jì)，并且可以配置合適的依賴和周期性調(diào)度。

（6）熟練使用數(shù)據(jù)管理模塊進(jìn)行數(shù)據(jù)管理，包括血緣分析、表的使用權(quán)限申請(qǐng)和授權(quán)等。

（7）對(duì)于使用過程中出現(xiàn)的問題，能夠識(shí)別、定位，對(duì)其中基本的問題能進(jìn)行修復(fù)。

三、數(shù)據(jù)集成考試內(nèi)容：

（1）了解數(shù)據(jù)集成的基本概念和工作流程。

（2）熟練使用數(shù)據(jù)集成進(jìn)行多種場(chǎng)景下的數(shù)據(jù)同步，可以從不同的數(shù)據(jù)源同步數(shù)據(jù)到大數(shù)據(jù)計(jì)算服務(wù)。

（3）了解數(shù)據(jù)集成中的 DataX 組件，包括概念、功能以及實(shí)際使用。

（4）了解并能正確使用數(shù)據(jù)集成中的字段映射、常量使用、變量使用、導(dǎo)入導(dǎo)出規(guī)則等。

（5）了解數(shù)據(jù)集成的最佳實(shí)踐，比如切分鍵配置等。

（6）能夠?qū)κ褂眠^程中出現(xiàn)的常見問題進(jìn)行排查，并能解決其中的基本問題。

（7）對(duì)于數(shù)據(jù)集成中的臟數(shù)據(jù)能夠進(jìn)行正確的處理。

四、Quick BI 考試內(nèi)容：

（1）了解 QuickBI 的產(chǎn)品特點(diǎn)和使用場(chǎng)景。

（2）掌握服務(wù)開通、數(shù)據(jù)源配置、數(shù)據(jù)分析等基本操作。

（3）了解各種常見統(tǒng)計(jì)圖表的適用場(chǎng)景和使用方法。

（4）能夠使用 Quick BI 進(jìn)行儀表盤設(shè)計(jì)、報(bào)表門戶設(shè)計(jì)。

五、機(jī)器學(xué)習(xí) PAI 考試內(nèi)容：

（1）了解機(jī)器學(xué)習(xí)的基本知識(shí)。

（2）掌握常見的機(jī)器學(xué)習(xí)算法。

（3）能夠使用機(jī)器學(xué)習(xí) PAI 對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)處理和探索式統(tǒng)計(jì)分析。

（4）能夠使用機(jī)器學(xué)習(xí) PAI 對(duì)數(shù)據(jù)集進(jìn)行聚類、分類等數(shù)據(jù)分析。

（5）能夠使用 DataWorks 部署應(yīng)用機(jī)器學(xué)習(xí)中的模型。

六、應(yīng)用和架構(gòu)考試內(nèi)容：

（1）了解其他相關(guān)云產(chǎn)品的特點(diǎn)和應(yīng)用場(chǎng)景，包括云數(shù)據(jù)庫(kù)RDS、分布式關(guān)系型數(shù)據(jù)庫(kù) DRDS、表格存儲(chǔ)（Table Store）、分析型數(shù)據(jù)庫(kù)（Analytic DB）、對(duì)象存儲(chǔ) OSS 等。

（2）了解大數(shù)據(jù)計(jì)算服務(wù)、數(shù)據(jù)工場(chǎng) DataWorks、數(shù)據(jù)集成、QuickBI 及機(jī)器學(xué)習(xí) PAI 等如何與其他相關(guān)產(chǎn)品配合使用。

（3）能根據(jù)實(shí)際的應(yīng)用場(chǎng)景，結(jié)合阿里云產(chǎn)品的特點(diǎn)設(shè)計(jì)合理的基礎(chǔ)架構(gòu)。