Kullandığımız teknolojiler ve neden seçtiğimiz
Teknoloji seçerken yaygın kullanılan, uzun vadede desteklenen ve sizi tek bir tedarikçiye bağlamayan araçları tercih ediyoruz. Projelerimizde en sık kullandıklarımız şunlar.
Yapay zeka modelleri ve model sunumu
Açık kaynak dil modellerini kendi altyapınızda çalıştırıyor, vLLM ve Ollama ile kullanıma sunuyoruz.
Neden? Açık kaynak modeller verilerinizi harici bir servise göndermeden kullanılabilir ve ihtiyaç değiştiğinde başka bir modelle değiştirilebilir.
GPU hesaplama
Model eğitimi ve çalıştırma için NVIDIA GPU'larını CUDA ve TensorRT ile kullanıyoruz.
Neden? Yapay zeka araçlarının büyük çoğunluğu NVIDIA ekosistemi üzerine kurulu; bu da en geniş yazılım desteğini ve en kolay bakımı sağlıyor.
Konteyner ve sunucu altyapısı
Uygulamaları Linux sunucular üzerinde Docker konteynerleriyle çalıştırıyor, gerektiğinde Kubernetes ile yönetiyoruz.
Neden? Konteynerler, uygulamanın her ortamda aynı şekilde çalışmasını ve sorunlu bir güncellemenin hızla geri alınabilmesini sağlar.
Yazılım geliştirme ve veri tabanı
Arka uçta Python ve FastAPI, arayüzde TypeScript, React ve Next.js, mobilde React Native, veri katmanında PostgreSQL kullanıyoruz.
Neden? Bu araçların geniş geliştirici toplulukları var; bu da sistemlerin uzun vadede bakımını ve geliştirilmesini kolaylaştırır.