Ekosistem Streaming Berbasis Open Source untuk Apache Kafka

PLATFORM cloud data berbasis open source, Aiven, memperkenalkan ekosistem streaming berbasis open source lengkap untuk Apache Kafka, yang menyediakan ekosistem data yang kuat, sepenuhnya open source, dan real time. Ini berupa layanan tambahan baru bernama Aiven for Apache Flink dalam versi beta. Aiven for Apache Flink ialah stream processing framework dan Klaw sebagai tools pengelolaan data untuk Apache Kafka.

Sebagai yang pertama yang menawarkan Apache Kafka terkelola di cloud sejak 2016, Aiven menjadi salah satu yang menawarkan Apache Kafka open source yang sesungguhnya di pasar. Dengan akuisisi Klaw, Aiven kini menyediakan portofolio komprehensif solusi dan layanan seputar Apache Kafka yang memungkinkan konsumen memindahkan, mengelola, memproses, mengoperasikan, dan secara efisien mengelola streaming data organisasi mereka secara real time. 

Para pelanggan yang menggunakan platform Aiven kini bisa memanfaatkan kemampuan baru arsitektur event streaming berbasis open-source secara komprehensif. Aiven baru-baru ini mengumumkan Klaw pada September 2022 setelah mengakuisisi Kafkawize, tool tata kelola data mandiri yang berbasis open source untuk Apache Kafka. 

"Sebagai pemimpin di komunitas open source, Aiven memiliki misi untuk mengelola software yang membuat kehidupan para developer lebih mudah. Dengan ekosistem teknologi streaming berbasis open source yang lengkap untuk Apache Kafka di sekitar Aiven, kami bisa melakukan hal tersebut dan lebih banyak lagi untuk pengguna kami," ucap Oskari Saarenmaa, CEO dan Co-Founder Aiven. "Saya sangat bersemangat berbagi ekosistem ini kepada komunitas dan terus mendorong lahirnya teknologi-teknologi open source yang inovatif dan sarat dengan data."

Berikut arsitektur streaming open source dalam ekosistem streaming berbasis open source Aiven untuk Apache Kafka. Aiven for Apache Kafka merupakan inti dari framework untuk event streaming yang memungkinkan data real time ditransportasikan kepada organisasi manapun. Mengelola, mengoperasikan, dan mentransportasikan data stream dengan andal dan di satu tempat serta kemampuan untuk berintegrasi dengan layanan Aiven wilayah cloud dan sistem eksternal lain. Aiven for Apache Kafka Connect ialah layanan yang sepenuhnya terkelola dan sepenuhnya open source dan terdistribusi untuk memungkinkan para pelanggan mengintegrasikan sumber data yang sudah ada dan melakukan sink secara mulus dengan Aiven for Apache Kafka.

Aiven for Apache Kafka MirrorMaker2 ialah layanan replikasi data yang terkelola sepenuhnya, sepenuhnya open source, dan terdistribusi, untuk replikasi data cluster to cluster, pemulihan bencana dan geographic proximity di berbagai wilayah dan para penyedia cloud. Aiven for Apache Flink (beta) merupakan engine SQL yang terkelola sepenuhnya, open source streaming sepenuhnya, untuk pemrosesan aliran yang tersimpan pada aliran data. Karapace merupakan Kafka Schema Registry yang sepenuhnya open source, yang bisa diakses oleh aplikasi untuk melakukan serialisasi dan deserialisasi pesan dengan format populer seperti AVRO, Protobuf, dan JSON. Klaw ialah tool untuk tata kelola data berbasis open source yang membantu enterprise melatih topik Apache Kafka® dan skema pengelolaan secara mandiri.

"Aiven for Apache Kafka telah berperan penting dalam pelayanan dan pengelolaan sistem throughput kami yang masif. Platform Aiven, bersama dengan Kubernetes Operator dan penyedia Terraform dari Aiven telah menyederhanakan tugas pemeliharaan sehari-hari kami dan mengkonsolidasikan seluruh pengelolaan dalam ekosistem yang sama dengan infrastruktur existing kami," kata Anand Rajhans, Head of Site Reliability Engineer dari GoTo Financial, platform di balik superapps Gojek dan Tokopedia. "Dukungan Aiven untuk Apache Kafka telah memudahkan kami melakukan skalabilitas terlepas dari ukuran layanan, memungkinkan kami melakukan peningkatan yang seamless dan andal bagi lebih dari 270 juta konsumen dan 11 juta merchant di seluruh Asia Tenggara."

Carlos Olmos, Senior Principal Software Engineer, Everactive, platform IoT berbasis perangkat sensor dengan daya sendiri dan komunikasi nirkabel rendah daya, menambahkan pihaknya sudah menggunakan berbagai solusi dari Aiven untuk kebutuhan event streaming, seperti Aiven for Apache Kafka dan Aiven for Apache Kafka Connect. Kombinasi antara Kafka dari Aiven, API-nya dan penyedia Terraform dari Aiven, telah memungkinkan pihaknya untuk mengotomatisasi hampir semua seperti konfigurasi, pengimplementasian, dan pemeliharaan. (RO/OL-14)