Apache Spark | 台灣精品獎-歷屆得獎名單
ApacheSpark是一個開源叢集運算框架,最初是由加州大學柏克萊分校AMPLab所開發。相對於Hadoop的MapReduce會在執行完工作後將中介資料存放到磁碟中,Spark使用了記憶 ...
Apache Spark是一個開源叢集運算框架,最初是由加州大學柏克萊分校AMPLab所開發。相對於Hadoop的MapReduce會在執行完工作後將中介資料存放到磁碟中,Spark使用了記憶體內運算技術,能在資料尚未寫入硬碟時即在記憶體內分析運算。Spark在記憶體內執行程式的運算速度能做到比Hadoop MapReduce的運算速度快上100倍,即便是執行程式於硬碟時,Spark也能快上10倍速度。[2]Spark允許使用者將資料載入至叢集記憶體,並多次對其進行查詢,非常適合用於機器學習演算法。[3]
使用Spark需要搭配叢集管理員和分散式儲存系統。Spark支援獨立模式(本地Spark叢集)、Hadoop YARN或Apache Mesos的叢集管理。[4] 在分散式儲存方面,Spark可以和 Alluxio、HDFS[5]、 Cassandra[6] 、OpenStack Swift和Amazon S3等介面搭配。 Spark也支援偽分散式(pseudo-distributed)本地模式,不過通常只用於開發或測試時以本機檔案系統取代分散式儲存系統。在這樣的情況下,Spark僅在一台機器上使用每個CPU核心執行程式。
在2014年有超過465位貢獻者投入Spark開發[7],讓其成為Apache軟體基金會以及巨量資料眾多開源專案中最為活躍的專案。
Spark在2009年由Matei Zaharia在加州大學柏克萊分校AMPLab開創,2010年透過BSD授權條款開源釋出。2013年,該專案被捐贈給Apache軟體基金會並切換授權條款至Apache2.0。[8]。2014年2月,Spark成為Apache的頂級專案。2014年11月,Databricks團隊使用Spark 重新整理資料排序世界記錄。[9]
專案構成要素 編輯Spark專案包含下列幾項:
...什麼是Apache Spark? | 台灣精品獎-歷屆得獎名單
Apache Spark 簡介 | 台灣精品獎-歷屆得獎名單
Apache Spark | 台灣精品獎-歷屆得獎名單
Spark 基本介紹 | 台灣精品獎-歷屆得獎名單
Spark是什麼?用Spark進行數據分析 | 台灣精品獎-歷屆得獎名單
Spark簡介 | 台灣精品獎-歷屆得獎名單
10分鐘弄懂大數據框架Hadoop和Spark的差異 | 台灣精品獎-歷屆得獎名單
Apache Spark简介 | 台灣精品獎-歷屆得獎名單
108 年度台灣精品獎獲獎產品 自行車攜行架
由「高鐵工業股份有限公司」生產的自行車攜行架獲得108年度台灣精品獎,以下為此獎項詳細資料整理:得獎產品:自行車攜行架...