Karya pilihan / Studi kasus
Ollama Provider
Gateway kompatibel OpenAI untuk model Ollama lokal yang menggabungkan kebijakan akses per client, penjadwalan request, streaming, catatan pemakaian, serta dashboard administrasi responsif.

Masalah
Memungkinkan aplikasi berbagi model lokal dengan kredensial dan batas pemakaian terpisah, sekaligus membantu operator meninjau request, kegagalan, serta ketersediaan model.
Fokus engineering
Mengoordinasikan penjadwalan sadar-model, penerimaan request per key, dan pelepasan resource streaming dalam gateway Python bersama, dengan catatan pemakaian asinkron serta antarmuka administrasi terpisah.
Ringkasan implementasi
Aplikasi client
Request kompatibel OpenAI dari aplikasi client.
Kebijakan client
Autentikasi, pembatasan model, limit, serta penerimaan request per key.
Gateway bersama
Penjadwalan sadar-model, proxy streaming, dan pelepasan resource idempoten.
Runtime Ollama
Inferensi pretrained dalam runtime Ollama terpisah.
Pemakaian dan administrasi
Catatan SQLite asinkron dan aplikasi admin yang menyajikan UI Next.js statis.
Implementasi
- Menyediakan rute daftar model, chat, text completion, dan embedding yang kompatibel OpenAI; memvalidasi request sesuai kemampuan model.
- Mengelola key client dengan masa berlaku, pembatasan model, batas request/konkurensi, kuota token opsional, prioritas, serta pilihan pencatatan prompt.
- Mengelompokkan request per model dan melepaskan ticket scheduler serta slot per key saat respons selesai atau streaming terputus.
- Menulis catatan pemakaian secara asinkron ke SQLite; mengambil preview prompt dengan pagination berkursor dan rincian lengkap sesuai permintaan.
- Menyediakan dashboard React/Next.js untuk ringkasan, kebijakan client, pemakaian, request, prompt, dan model, diekspor sebagai halaman statis yang dilayani aplikasi admin FastAPI.
Bukti & kode sumber
Laporan yang disertakan mendokumentasikan pemeriksaan regresi backend dengan mock dan alur browser frontend. Screenshot menunjukkan aplikasi hasil build dengan fixture demo; gambar arsitektur berdasarkan source, bukan pengamatan deployment produksi.
Keputusan & keterbatasan
Screenshot menampilkan UI sebenarnya dengan data demo terisolasi: metrik, status hardware, antrean, daftar model, progres unduhan, serta jawaban merupakan simulasi. Throughput GPU nyata dan pemulihan produksi tidak diuji pada tinjauan yang disertakan. Penjadwalan mengasumsikan satu proses gateway; kuota lunak dapat terlewati oleh request yang masih berjalan. Pencatatan prompt memerlukan pengaturan privasi oleh operator.