1 day ago
5
Jakarta -
Akamai, perusahaan keamanan siber dan cloud computing, memperkenalkan Akamai Cloud Inference untuk mendorong inovasi cepat dan efisien untuk mengubah model prediktif dan large language model (LLM) menjadi tindakan nyata.
"Meskipun pekerjaan berat pelatihan LLM akan terus terjadi di pusat-pusat data hyperscale besar, pekerjaan inferensi yang dapat ditindaklanjuti akan berlangsung di edge, di mana platform yang telah dibangun Akamai selama dua setengah dekade terakhir menjadi penting untuk masa depan AI dan yang membedakan kami dari setiap penyedia cloud lain yang ada di pasar," kata Adam Karon, COO dan GM Cloud Technology Group di Akamai, dalam keterangan yang diterima detikINET, Sabtu (31/5/2025).
Solusi baru Akamai ini menjadi alat bagi para engineer dan pengembang platform untuk membangun dan menjalankan aplikasi AI, dan diklaim bisa memberikan througput 3x lebih baik serta mengurangi latensi hingga 2,5x.
SCROLL TO CONTINUE WITH CONTENT
Mereka juga mengklaim perusahaan-perusahaan dapat hemat hingga 86% dalam inferensi AI dan beban kerja AI agentik dibandingkan dengan infrastruktur hyperscale tradisional. Akamai Cloud Inference mencakup:
● Komputasi: Akamai Cloud menawarkan perangkat komputasi serbaguna, mulai dari CPU klasik untuk inferensi yang di-setting dengan baik, hingga opsi komputasi dipercepat yang kuat dalam GPU, dan VPU ASIC yang disesuaikan untuk menyediakan daya yang tepat untuk mengatasi berbagai tantangan dalam inferensi AI. Akamai terintegrasi dengan ekosistem AI Enterprise Nvidia, dengan memanfaatkan Triton, TAO Toolkit, TensorRT, dan NVFlare untuk mengoptimalkan kinerja inferensi AI pada GPU NVIDIA.
● Manajemen Data: Akamai memungkinkan para pelanggan untuk memanfaatkan seluruh potensi inferensi AI dengan fabrik data mutakhir yang dibangun khusus untuk beban kerja AI modern. Akamai telah bermitra dengan VAST Data untuk menyediakan akses yang disederhanakan ke data real-time guna mempercepat tugas-tugas terkait inferensi, yang penting agar memberikan hasil yang relevan dan pengalaman yang responsif.
● Kontainerisasi: Kontainersisasi beban kerja AI mendukung peningkatan kapasitas secara otomatis sesuai permintaan, peningkatan ketahanan aplikasi, dan portabilitas hibrida/multicloud, serta mengoptimalkan kinerja dan biaya. Dengan Kubernetes, Akamai memberikan inferensi AI yang lebih cepat, lebih murah, dan lebih aman dengan kinerja dalam skala petabyte.
● Komputasi Edge: Untuk menyederhanakan cara pengembang dalam membangun aplikasi-aplikasi berbasis AI, Akamai AI Inference menyertakan kemampuan WebAssembly (WASM). Melalui kerja sama dengan penyedia WASM seperti Fermyon, Akamai membantu para pengembang menjalankan inferensi untuk LLM langsung dari aplikasi tanpa server, sehingga para pelanggan dapat menjalankan kode ringan di edge untuk mendukung aplikasi-aplikasi yang membutuhkan latensi rendah.
Bersama-sama, seluruh tools ini menciptakan platform yang kuat untuk aplikasi-aplikasi berbasis AI dengan latensi rendah yang dengan ini perusahaan-perusahaan dapat memberikan pengalaman yang diinginkan pengguna mereka.
Akamai Cloud Inference berjalan di platform cloud Akamai yang sangat terdistribusi, sehingga mampu secara konsisten mengirimkan lebih dari satu petabyte per detik untuk beban kerja yang memerlukan data intensif. Meliputi dari lebih dari 4.200 titik kehadiran di lebih dari 1.200 jaringan di lebih dari 130 negara di seluruh dunia, Akamai Cloud membuat sumber daya komputasi tersedia dari cloud ke edge serta mempercepat kinerja aplikasi dan meningkatkan skalabilitas.
"Melatih LLM seperti membuat peta, yang mengharuskan Anda mengumpulkan data, menganalisis medan, dan merencanakan rute. Pekerjaan ini lambat dan memerlukan banyak sumber daya, tetapi setelah dibangun, akan sangat berguna. Inferensi AI itu seperti menggunakan GPS, langsung menerapkan pengetahuan itu, menghitung ulang secara real-time, dan beradaptasi dengan perubahan untuk membawa Anda ke tempat yang Anda tuju," tutup Karon.
(asj/hps)
