Akun Test
*Detail code bersifat confidential dan tidak dibuka publik karena batasan credential serta keamanan.
OrbiChat adalah platform AI chatbot berbasis web yang dirancang untuk membantu freelance agency mengotomasi interaksi client menggunakan Retrieval-Augmented Generation (RAG) dan Large Language Models (LLM). Platform ini memungkinkan agency menyediakan AI assistant khusus untuk client yang mampu menjawab pertanyaan, memahami konteks percakapan yang kompleks, dan memakai custom knowledge base untuk support otomatis 24/7. Di luar automasi, OrbiChat juga berfungsi sebagai lead generation tool dengan menangkap email calon customer langsung dari chat flow.
Berperan sebagai Orchestrator. Menangani business logic, authentication, API gateway, session management, akses database, Role-Based Access Control (RBAC), dan koordinasi service.
Fokus khusus pada Data Ingestion dan RAG (Retrieval-Augmented Generation) Query Processing. Service ini menangani pemrosesan dokumen, interaksi vector storage, prompt optimization, dan komunikasi efisien dengan LLM menggunakan ekosistem AI Python.
Alur Arsitektur
AI menjaga konteks percakapan sebelumnya agar respons tetap relevan.
AI dapat menjawab pertanyaan berdasarkan data spesifik perusahaan menggunakan Retrieval-Augmented Generation.
Agency dapat memasang chatbot di website mana pun cukup dengan copy-paste snippet widget.
Setiap user memiliki sesi percakapan independen yang tersimpan rapi.
Membatasi domain percakapan AI agar tetap sesuai etika dan scope bisnis.
Menangkap email visitor langsung dari chat flow dan mengubah percakapan menjadi lead yang bisa ditindaklanjuti.
Melacak total lead, chat masuk, penggunaan token, dan metrik percakapan secara real-time dari dashboard pusat.
AI service dipisah agar ingestion dan query processing yang berat bisa ditangani secara independen.
Project ini menunjukkan pemikiran distributed service yang matang dan arsitektur multi-service. Integrasi antara backend Node.js (NestJS) sebagai Orchestrator dan FastAPI berbasis Python untuk RAG Ingestion dan Query Processing menunjukkan kemampuan merancang sistem scalable dengan separation of concerns yang jelas.
Salah satu tantangan engineering terbesar adalah menyeimbangkan efisiensi token dengan akurasi respons. Mengirim seluruh konteks ke LLM pada setiap query membuat token boros dan biaya tinggi, sementara trimming yang terlalu agresif bisa memicu hallucination dan kehilangan konteks. Solusinya adalah menerapkan Adaptive RAG, yaitu arsitektur di mana classifier AI ringan menganalisis query terlebih dahulu untuk menentukan apakah perlu retrieval knowledge base, konteks percakapan, atau bisa dijawab langsung. Setelah itu query baru diarahkan ke pipeline yang sesuai.
Next.js, TypeScript, NestJS, FastAPI, Python, OpenAI GPT, Adaptive RAG, Supabase, Redis, Docker, Nginx, Tailwind CSS.