數據虛擬化 (Data virtualization)
使用虛擬層在真實數據之上提供抽象的視圖。讓使用者不需要知道數據實際的儲存地、實際的格式。
使用者透過數據目錄,可以很方便的取得與調用數據。而且可以提高數據安全性和降低成本。
殷富數據中台的數據虛擬化,包含數據目錄、虛擬化入口、各數據源的接口等。
數據治理 (Data governance)
數據治理是指組織內部對數據品質、安全、隱私、合規性和可用性等方面進行管理和監督的過程。
數據治理包括制定政策、標準、流程和措施,以確保數據被準確、可靠地收集、存儲、維護、使用和共用。
數據治理還包括監督數據使用並糾正違反政策的行為。
殷富數據中台的數據治理,包含元數據管理(meta-data management)、數據品質管理、數據安全管理、數據治理組織等。
數據洞察 (Data insight)
數據洞察是利用數據分析和可視化工具來探索、理解和發現數據中隱藏的規律和趨勢的過程。
數據洞察可以幫助企業和組織更好地瞭解客戶、市場和業務,並基於數據驅動決策。
數據洞察可以包括從原始數據中提取資訊、清洗數據、建模和可視化等步驟。
殷富數據中台的數據洞察常使用的工具包括數據挖掘、商業智慧、統計分析、機器學習。
數據流與管理 (Data pipeline and management)
數據管道是指數據從一個地方移動到另一個地方,或者從一種格式或結構移動到另一種格式或結構的過程。
數據管道的主要目的是從各種來源(例如數據庫、文件或外部 API)提取、轉換和加載 (ETL) 數據,並使其可用於分析、報告或機器學習。
數據管道中的常見步驟包括數據提取、數據清理、數據轉換、數據驗證和數據加載。
數據管道可以使用多種技術來實現,例如 Apache Nifi、Apache Kafka、Apache Storm、Apache Flink 等。 這些工具提供了一種構建、調度和監控數據管道的方法。
殷富的數據流管理包括監控數據的品質、完整性和一致性,確保數據能夠在合適的時間和地點被準確地傳輸、存儲和使用。
數據儲存與運算 (Data storage and processing)
物件儲存器 (Object Storage): 物件儲存的主要優勢在於幾乎不受限制的可擴展性,存放大量資料的成本較低。可將物件存放在多個裝置、跨多個系統,甚至跨多個資料中心和區域。 這允許幾乎不受限制的擴展,也改善了資料的彈性和可用性。
數據倉儲 (data warehouse): 整合眾多來源的資料、歷史資料分析、高資料品質、一致性和準確性,可輔助做出明智的決策。將分析處理從交易式資料庫分開,以提升這兩個系統的效能。
數據市集 (data mart): 是一種簡單形式的資料倉儲,專注於單一主題或營業單位,例如銷售、財務或行銷。為了聚焦,資料市集會從比資料倉儲較少的來源繪製資料。資料市集來源可以包括內部作業系統、一個中央資料倉儲和外部資料。
數據湖泊 (data lake): 可讓組織儲存大量的結構化和非結構化資料 (例如,從社群媒體或按一下串流資料),並且立即將它提供給即時分析、資料科學及機器學習使用案例。透過資料湖,資料會以其原始形式擷取,無須進行更改。