Cloudera Makin Erat Integrasikan Spark dengan Hadoop

KOMPAS.com - Cloudera mengumumkan peningkatan integrasi Spark ke dalam lingkungan Hadoop. Cloudera menambahkan dukungan pada Spark SQL dan MLlib ke dalam Cloudera Enterprise 5.5. dan CDH 5.5.

Disampaikan dalam keterangan tertulis yang diterima KompasTekno, Sabtu (5/12/2015), Spark termasuk teknologi yang populer karena fleksibel dalam hal pengembangan dan pengolahan data.

Spark disebut sebagai proyek Open Source Apache Software Foundation yang paling aktif. Pengembangnya telah melampaui 800 orang, yang berasal dari 200 lebih perusahaan.

“Dengan ditambahkannya Spark SQL dan MLlib ke platform Cloudera, dan adanya roadmap jelas melalui One Platform Initiative, adopsi Spark akan terus meningkat untuk skenario penggunaan seperti batch, streaming dan machine learning," kata Doug Cutting, Chief Architect Cloudera.

Cloudera adalah penyedia layanan terkait big data untuk perusahaan-perusahaan besar, utamanya yang menerapkan Hadoop.

Sedangkan Hadoop, yang salah satu pendirinya adalah Doug Cutting, merupakan proyek open source yang mengimplementasikan sistem pengelolaan dan pengolahan data dalam jumlah sangat-sangat besar.

Hadoop awalnya didirikan untuk menghadirkan teknologi yang serupa dengan yang digunakan Google, Yahoo! dan Facebook.

Hadoop memungkinkan pengolahan data dalam jumlah besar secara terdistribusi dan paralel lintas server (bahkan tanpa perlu memisahkan mesin penyimpan data dan pengolah data). Dan, Hadoop bisa diperluas (scale) tanpa batas.  

Spark adalah proyek open source Apache yang lahir di AMPLab, UC Berkeley. Teknologi ini menghadirkan kemampuan proses data in-memory yang fleksibel untuk Hadoop.

Spark dirancang untuk menangani proses batch, streaming dan menampung beban analitik tingkat lanjut.

Beberapa penerapan Spark termasuk: deteksi penipuan online, analisis performa iklan hingga identifikasi gen penyebab penyakit di genom manusia.