Apache NiFi是很多的編程的人員都是經(jīng)常的使用到的一款數(shù)據(jù)處理和分發(fā)系統(tǒng),專業(yè)的處理大量的數(shù)據(jù)問題的,可以提供指示圖的數(shù)據(jù)路由、轉(zhuǎn)換和系統(tǒng)中介邏輯。
apache nifi使用教程
組件一般來說分為service 和processor 咱們先來說以下新建一個(gè)processor
總的來說分兩步 1.組件功能開發(fā),2組件聲明(向外暴露)
組件功能開發(fā),在xxx--xxx-processors 新建工程類xxxx.Java
功能組件總的來說 也分為三個(gè)部分
a. 外界參數(shù)聲明 2,輸出關(guān)系聲明 3,數(shù)據(jù)流觸發(fā)操作
a.外界參數(shù)說明
如果我們的組件需要和外界做交互,需要外部傳入?yún)?shù)那么就需要做參數(shù)聲明
通過這種方式聲明一個(gè)參數(shù),nifi 自身提供了比較多的驗(yàn)證器 可以對參數(shù)做約束驗(yàn)證 大家自己看著玩
參數(shù)定義之后需要向外部暴露,需要重寫getSupportedPropertyDescriptors 方法
nifi 還支持動態(tài)增加屬性
Apache NiFi版本更新內(nèi)容
核心框架的改進(jìn)
集群管理邏輯已經(jīng)穩(wěn)定和改進(jìn),以更好地支持zero-master集群。例如,恢復(fù)時(shí)間快現(xiàn)在我們不用總是等一些人工的時(shí)間長度是否將加入新的節(jié)點(diǎn),因此我們應(yīng)該重新考慮流是金色的副本。
表達(dá)式語言能力現(xiàn)在支持小數(shù),base64和十六進(jìn)制編碼值,和數(shù)學(xué)函數(shù)。
flowfile、起源和內(nèi)容存儲庫支持回滾已經(jīng)修改了。我們一直小心以確保升級將工作做好,現(xiàn)有流動狀態(tài)會尊敬但困難的是支持回滾狀態(tài)在哪里寫的能力通過一個(gè)新版本的NiFi但是用戶決定回滾到一個(gè)舊版本。這是現(xiàn)在支持。這個(gè)強(qiáng)大的功能也為未來的工作奠定了基礎(chǔ)使?jié)L動升級和自動回滾!
啟動時(shí)間的流動,有大量積壓應(yīng)該更快的交換文件已經(jīng)修改了提供完整總結(jié),避免需要掃描。
對于開發(fā)人員來說,他們現(xiàn)在可以說明他們的處理器應(yīng)該給孤立的類加載器實(shí)例。一些庫,比如Hadoop客戶機(jī)和腳本引擎作為一個(gè)例子,使用靜態(tài)變量上的處理器可以污染實(shí)例圖。該特性允許這種情況下很容易克服,使隔離每一個(gè)處理器的實(shí)例。這也使得它很容易讓用戶自定義類加載器擴(kuò)展jar。
對于開發(fā)人員來說,現(xiàn)在的能力動態(tài)過程會話狀態(tài)遷移到另一個(gè)進(jìn)程。這將產(chǎn)生更高的效率,使得更容易編程模型見MergeContent聚合類型模式,例如。
用戶體驗(yàn)改進(jìn)
我們現(xiàn)在提供的視覺指示隊(duì)列增長相對于背壓背壓時(shí)設(shè)置和參與。這將使交通堵塞和背壓的概念更直觀和坦率地說這只是有趣的看到在UI中。看看這個(gè)。
1.0.0版本后,社區(qū)的一些成員表示,他們有多愛新外觀和感覺,但希望我們保持一些顏色。更好、更直觀的色彩對比又回來了。
驗(yàn)證組件現(xiàn)在有限的發(fā)生只有組件不計(jì)劃執(zhí)行。這將導(dǎo)致更快的用戶體驗(yàn)行為盡可能多的操作可以通過UI和REST API將導(dǎo)致不必要的昂貴的驗(yàn)證操作。
用戶現(xiàn)在可以出口的圖像來源圖表。
用戶現(xiàn)在可以使用cron調(diào)度組件甚至只在主節(jié)點(diǎn)上的任務(wù)。
更新版本的依賴關(guān)系
我們現(xiàn)在利用Azure事件中心0.9.0客戶端庫。
我們現(xiàn)在使用2.0.1庫與Apache火花。
我們現(xiàn)在與使用Apache Hadoop的HDFS 2.7.3庫。
新的或改進(jìn)的處理器
新拿,把處理器與ElasticSearch 5.0和新的處理器對ElasticSearch執(zhí)行查詢和滾動操作。
新的處理器解析歐共體語言教學(xué)大綱的格式的日志
提取電子郵件現(xiàn)在處理器支持TNEF格式的附件。
新的處理器驗(yàn)證CSV文件。
Apache Solr處理器已經(jīng)更新,以支持SSL和Kerberos。
新的處理器為尚作為客戶機(jī)和服務(wù)器。
新工具
在升級從0。x 1。x我們提供很多的簡易化和自動功能。然而,我們沒有考慮從動物園管理員的嵌入式使用遷移到一個(gè)外部實(shí)例。我們已經(jīng)提供了一個(gè)實(shí)用工具可以幫助您遷移NiFi從一個(gè)集群管理員到另一個(gè)狀態(tài)。
以前很難改變敏感屬性密鑰用于加密所有敏感屬性包含在一個(gè)實(shí)際的流配置。一個(gè)實(shí)用程序現(xiàn)在存在容易從舊鍵轉(zhuǎn)換為一個(gè)新的密鑰是一塊寶貴的一個(gè)總體安全的過程。
安全改進(jìn)
NiFi現(xiàn)在支持限制組件的概念。這些處理器、控制器服務(wù)報(bào)告的任務(wù),允許授權(quán)用戶執(zhí)行unsanitized代碼或訪問和修改文件訪問NiFi NiFi用戶系統(tǒng)正在運(yùn)行。因此,這些組件是由開發(fā)人員標(biāo)記為受限制,當(dāng)運(yùn)行在安全模式下NiFi只有管理員必須給予每個(gè)用戶訪問策略允許訪問限制組件。
站點(diǎn)現(xiàn)在提高很有幫助,即使使用端口轉(zhuǎn)發(fā)。非常有用的情況下,管理員可能運(yùn)行NiFi權(quán)限較低但希望外部交互使用眾所周知的特權(quán)端口。
策略管理的用戶體驗(yàn)已經(jīng)改進(jìn),使之更直觀的在某些情況下發(fā)生了什么。
加密的配置功能現(xiàn)在已經(jīng)擴(kuò)展到覆蓋登錄身份提供商的能力。這真的很有用,例如你可以只有LDAP密碼以加密形式存儲在登錄提供者配置文件。額外的工作計(jì)劃在這些加密的配置提供與硬件安全模塊交互。
- PC官方版
- 安卓官方手機(jī)版
- IOS官方手機(jī)版