批處理所帶來的挑戰 |
發布時間: 2012/9/11 19:28:39 |
批量處理的挑戰在于,數據必須要間斷性地進入才能保證流程正常運作,而如果數據源連續地輸入,就會造成系統崩潰。 如果我們增加批處理窗口的話,結果就會增加數據處理過程的時間,使得相關的數據分析報告也要推遲落入我們的手中。在許多系統里,他們會選擇在非高峰時間進行數據批處理,而這個時間是非常有限的。隨著數據的體積不斷脹大,處理數據的時間就不斷增加,這樣發展下去的話,需要被處理的數據就會不斷積壓。這最終的結果有可能一天都處理不完數據。 通過流處理來提升速度 流處理的概念是非常簡單的。我們并不需要等到所有數據記錄完后才進行處理,我們可以邊記錄邊處理。 本文出自:億恩科技【www.vbseamall.com】 |