Semua karya

Karya pilihan / Studi kasus

Ollama Provider

Gateway kompatibel OpenAI untuk model Ollama lokal yang menggabungkan kebijakan akses per client, penjadwalan request, streaming, catatan pemakaian, serta dashboard administrasi responsif.

Masalah

Memungkinkan aplikasi berbagi model lokal dengan kredensial dan batas pemakaian terpisah, sekaligus membantu operator meninjau request, kegagalan, serta ketersediaan model.

Fokus engineering

Mengoordinasikan penjadwalan sadar-model, penerimaan request per key, dan pelepasan resource streaming dalam gateway Python bersama, dengan catatan pemakaian asinkron serta antarmuka administrasi terpisah.

Ringkasan implementasi

  1. Aplikasi client

    Request kompatibel OpenAI dari aplikasi client.

  2. Kebijakan client

    Autentikasi, pembatasan model, limit, serta penerimaan request per key.

  3. Gateway bersama

    Penjadwalan sadar-model, proxy streaming, dan pelepasan resource idempoten.

  4. Runtime Ollama

    Inferensi pretrained dalam runtime Ollama terpisah.

  5. Pemakaian dan administrasi

    Catatan SQLite asinkron dan aplikasi admin yang menyajikan UI Next.js statis.

Ringkasan komponen konseptual berdasarkan source yang diperiksa, bukan pengamatan deployment produksi.

Implementasi

  • Menyediakan rute daftar model, chat, text completion, dan embedding yang kompatibel OpenAI; memvalidasi request sesuai kemampuan model.
  • Mengelola key client dengan masa berlaku, pembatasan model, batas request/konkurensi, kuota token opsional, prioritas, serta pilihan pencatatan prompt.
  • Mengelompokkan request per model dan melepaskan ticket scheduler serta slot per key saat respons selesai atau streaming terputus.
  • Menulis catatan pemakaian secara asinkron ke SQLite; mengambil preview prompt dengan pagination berkursor dan rincian lengkap sesuai permintaan.
  • Menyediakan dashboard React/Next.js untuk ringkasan, kebijakan client, pemakaian, request, prompt, dan model, diekspor sebagai halaman statis yang dilayani aplikasi admin FastAPI.

Bukti & kode sumber

Laporan yang disertakan mendokumentasikan pemeriksaan regresi backend dengan mock dan alur browser frontend. Screenshot menunjukkan aplikasi hasil build dengan fixture demo; gambar arsitektur berdasarkan source, bukan pengamatan deployment produksi.

Keputusan & keterbatasan

Screenshot menampilkan UI sebenarnya dengan data demo terisolasi: metrik, status hardware, antrean, daftar model, progres unduhan, serta jawaban merupakan simulasi. Throughput GPU nyata dan pemulihan produksi tidak diuji pada tinjauan yang disertakan. Penjadwalan mengasumsikan satu proses gateway; kuota lunak dapat terlewati oleh request yang masih berjalan. Pencatatan prompt memerlukan pengaturan privasi oleh operator.

Teknologi yang digunakan

  • Python
  • FastAPI
  • Ollama
  • SQLite
  • React
  • Next.js
  • TypeScript
  • Tailwind CSS