大家好，如果您還對apachehadoop官網(wǎng)不太了解，沒有關(guān)系，今天就由本站為大家分享apachehadoop官網(wǎng)的知識，包括hadoop官網(wǎng)文檔的問題都會給大家分析到，還望可以解決大家的問題，下面我們就開始吧！

hadoop表名規(guī)則

為了避免底層業(yè)務(wù)變動對上層需求影響過大，屏蔽底層復(fù)雜的業(yè)務(wù)邏輯，盡可能簡單、完整的在接口層呈現(xiàn)業(yè)務(wù)數(shù)據(jù)，建設(shè)高內(nèi)聚松耦合的數(shù)據(jù)組織，使數(shù)據(jù)從業(yè)務(wù)角度可分割，顯得尤為重要。從整個集團(tuán)業(yè)務(wù)條線出發(fā)，形成數(shù)據(jù)倉庫總體概念框架，并對整個系統(tǒng)所需要的功能模塊進(jìn)行劃分，明確各模塊技術(shù)細(xì)節(jié)，建設(shè)一套完整的開發(fā)規(guī)范。

分層規(guī)范

ODS(原始數(shù)據(jù)層)：也被稱為貼源層，ODS層是數(shù)據(jù)倉庫準(zhǔn)備區(qū)，為DWD層提供基礎(chǔ)原始數(shù)據(jù)。

DWD(明細(xì)數(shù)據(jù)層)：和ODS粒度一致的明細(xì)數(shù)據(jù)，對數(shù)據(jù)進(jìn)行去重，臟數(shù)據(jù)過濾，空處理，保證數(shù)據(jù)質(zhì)量。

DWS(服務(wù)數(shù)據(jù)層)：輕度匯總數(shù)據(jù)及建寬表(按主題)存放數(shù)據(jù)。

ADS(應(yīng)用數(shù)據(jù)層)：存放應(yīng)用類表數(shù)據(jù)。

ODS-DWD-DWS-ADS

ODS-DW(輕度數(shù)據(jù)匯總層、高度數(shù)據(jù)匯總層)-DM(數(shù)據(jù)集市)

表規(guī)范

命名

維表命名形式：dim_描述

事實(shí)表命名形式：fact_描述_[AB]

臨時表命名形式：tmp_正式表名_[C自定義序號]

寬表命名形式：dws_主題_描述_[AB]

備份表命名形式：正式表名_bak_yyyymmdd

表命名解釋：

1)表名使用英文小寫字母，單詞之間用下劃線分開，長度不超過40個字符，命名一般控制在小于等于6級。

2)其中ABC第一位"A"時間粒度：使用"c"代表當(dāng)前數(shù)據(jù)，"h"代表小時數(shù)據(jù)，"d"代表天數(shù)據(jù)，"w"代表周數(shù)據(jù)，"m"代表月數(shù)據(jù)，"q"代表季度數(shù)據(jù)，"y"代表年數(shù)據(jù)。

3)其中ABC的第二位"B"表示對象屬性，用"t"表示表，用"v"表示視圖。

4)其中ABC的第三位"C"自定義序號用于標(biāo)識多個臨時表的跑數(shù)順序。

注釋

注釋要結(jié)合表的英文名，要求注釋簡潔明了，體現(xiàn)出表的業(yè)務(wù)出處、主題和用途。

存儲格式

所謂的存儲格式就是在Hive建表的時候指定的將表中的數(shù)據(jù)按照什么樣子的存儲方式，如果指定了方式，那么在向表中插入數(shù)據(jù)的時候，將會使用該方式向HDFS中添加相應(yīng)的數(shù)據(jù)類型。在數(shù)倉中建表默認(rèn)用的都是PARQUET存儲格式，相關(guān)語句如下所示：

STOREDASINPUTFORMAT

'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'

字符集

Hadoop和hive都是用utf-8編碼的，在建表時可能涉及到中文亂碼問題，所以導(dǎo)入的文件的字符編碼統(tǒng)一為utf-8格式。

約定

理論上在數(shù)倉落地的表不應(yīng)該出現(xiàn)null未知類型，對于可能出現(xiàn)null的字段，如果為字符型統(tǒng)一為空字符串，如果是數(shù)值則給0。

字段規(guī)范

命名

1)使用英文小寫字母，單詞之間用下劃線分開，長度不超過30個字符，命名一般控制在小于等于4級；

2)和源數(shù)據(jù)ods層表字段名一致，如為新增字段，盡量言簡意賅；

3)英文名盡量專業(yè)，符合業(yè)界要求，不得使用漢語拼音；

4)盡量避免使用關(guān)鍵字。如無法避免，使用”`”轉(zhuǎn)義；

5)指標(biāo)字段能使用縮寫的盡量使用統(tǒng)一的縮寫，如申請金額統(tǒng)計apply_amt_sum。

注釋

注釋本著簡潔、詳實(shí)、完整的原則，對于有業(yè)務(wù)含義的字段，在注釋中需要枚舉并解釋其業(yè)務(wù)含義，如ods_loan_apidata_order_info.order_status訂單狀態(tài)：1待支付，2支付不成功，3支付成功；

類型

日期時間等格式統(tǒng)一用string類型，字符串也是用string，數(shù)值的話，會根據(jù)字段定義來確定，對于有小數(shù)點(diǎn)要求的，比如某些金額、利率，需要用到decimal類型，無小數(shù)點(diǎn)要求的用浮點(diǎn)類型double和整數(shù)類型(int，bigint)。

代碼規(guī)范

sql編碼

1)關(guān)鍵字右對齊，代碼注釋詳盡，查詢字段時每行不超過三個字段，縮進(jìn)時空四格等相關(guān)書寫規(guī)范。

2)明細(xì)數(shù)據(jù)層依賴于ods層，應(yīng)用數(shù)據(jù)層依賴于服務(wù)數(shù)據(jù)層，原則上，不允許跨層查詢。

3)如果SQL語句連接多表時，應(yīng)使用表的別名來引用列。

4)WHERE條件中參數(shù)與參數(shù)值使用的類型應(yīng)當(dāng)匹配，避免進(jìn)行隱式類型轉(zhuǎn)化。

5)在SELECT語句中只獲取實(shí)際需要的字段。

shell腳本

調(diào)度腳本主要是通過跑shell腳本，shell腳本的注意點(diǎn)：

1)命名與所跑的目標(biāo)表名相同，注釋要完善，后綴以.sh結(jié)尾。

2)腳本頭需要加上分割線、作者、日期、目的、描述等信息。

學(xué)Hadoop需要哪些基礎(chǔ)知識來支撐

Hadoop是一個開源框架，允許使用簡單的編程模型在跨計算機(jī)集群的分布式環(huán)境中存儲和處理大數(shù)據(jù)。它旨在從單個服務(wù)器擴(kuò)展到數(shù)千臺機(jī)器，每臺機(jī)器提供本地計算和存儲。本簡要教程提供了大數(shù)據(jù)，MapReduce算法和Hadoop分布式文件系統(tǒng)的快速介紹。

適合人群

本教程為希望通過HadoopFramework學(xué)習(xí)大數(shù)據(jù)分析基礎(chǔ)知識并成為Hadoop開發(fā)人員的專業(yè)人員準(zhǔn)備。軟件專業(yè)人員，分析專業(yè)人員和ETL開發(fā)人員是本課程的主要受益人。

預(yù)備知識

在開始本教程之前，我們假設(shè)您已經(jīng)接觸過CoreJava，數(shù)據(jù)庫概念和任何Linux操作系統(tǒng)。

HadoopAPI類庫

更多HadoopAPI詳細(xì)內(nèi)容，請參考：HadoopAPI類庫http://codingdict.com/article/8105

Hadoop教程內(nèi)容導(dǎo)航

ambari可以裝apache版本的hadoop嗎

之前有做過這種嘗試，為此還看了Ambari的具體實(shí)現(xiàn)，對里面的部署過程進(jìn)行了一些干預(yù)，最后是部署成了ApacheHadoop

1.

2.1，但就HDFS功能正常，MapReduce是跑不起的，最后結(jié)論就是用Ambari的話，還是老老實(shí)實(shí)地裝HDP吧，除非深入了解Ambari，然后改寫它，但這樣的話，還不如自己開發(fā)個自動部署ApacheHadoop的程序來的快些。

hadoop是哪個公司研發(fā)的

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。

于2006年2月，成為一套完整而獨(dú)立的軟件，并被命名為Hadoop。到了2008年年初，hadoop已成為Apache的頂級項目，包含眾多子項目，被應(yīng)用到包括Yahoo在內(nèi)的很多互聯(lián)網(wǎng)公司

apache doris 依賴hadoop嗎

是的，ApacheDoris（以前稱為Palo）是一個開源的分布式SQL數(shù)據(jù)倉庫，它依賴于Hadoop生態(tài)系統(tǒng)。它使用Hadoop的分布式文件系統(tǒng)（HDFS）來存儲數(shù)據(jù)，并使用Hadoop的計算框架（如MapReduce或ApacheSpark）來執(zhí)行查詢和分析操作。因此，要使用ApacheDoris，您需要先安裝和配置Hadoop集群。

hadoop是由什么開發(fā)的

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)（DistributedFileSystem），其中一個組件是HDFS（HadoopDistributedFileSystem）。

關(guān)于apachehadoop官網(wǎng)和hadoop官網(wǎng)文檔的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。