Yerel AI asistan trafiğini kendi barındırdığınız bir geçit üzerinden yönlendirin
Yerel AI asistan trafiğini, gerçek zamanlı çağrı sıkıştırması ve bağlam optimizasyonu uygulayan merkezi, kendi barındırdığınız bir geçit üzerinden yönlendirin, böylece çıkarım harcamalarını azaltın. Othentic Labs Ltd'den Anyray Connect, mühendislik ekipleri ve DevOps için imzalı bir Windows yürütülebilir dosya olarak gönderilmektedir. OpenAI uyumlu bir API sunar, harcama atamasını ekip ve proje bazında sağlar ve geliştirici iş akışlarının devam etmesini sağlamak için bir açık kalma zaman aşımı içerir. Araç, büyük ölçekli LLM'ler çalıştıran ve yerinde yönetim gerektiren ekipler için uygundur.
Anyray Connect geliştirici LLM trafiği için ne yapar?
Anyray Connect, yerel AI araçlarından gelen istekleri kendi iç geçidi aracılığıyla yönlendirir, yardımcılar ve SDK'ların kod değişiklikleri olmadan optimizasyonu kullanması için uç noktaları yeniden yazar. İstemci tarafındaki çalıştırılabilir dosya, uyumlu araçları geçide işaret edecek şekilde otomatik olarak yapılandırır ve geçit, sıkıştırma ve bağlam kesme için deterministik, kural tabanlı dönüşümler uygular. Kurulum, istemci içeriğinin şirket altyapısı içinde kalması gereken ortamlara yöneliktir ve mevcut entegrasyonların çalışmaya devam etmesi için OpenAI ile uyumlu bir API sunar.
İş akışlarını etkiler mi yoksa mühendislik değişiklikleri gerektirir mi?
Araç, mevcut LLM uç noktaları için bir yedekleme olarak çalışır, bu nedenle ekiplerin yardımcı kodunu veya SDK çağrılarını değiştirmesi gerekmez. Ayrıca, istemci, optimizasyon yavaşsa istekleri değiştirmeden ileten 800–1200 milisaniye zaman aşımı ile bir fail-open mekanizması kullanır, bu da geliştirici verimliliğini korur. Yapılandırma, istemci ve geçit katmanında gerçekleşir ve yükleyiciler tek bir imzalı Windows çalıştırılabilir dosyası veya Windows Paket Yöneticisi aracılığıyla dağıtılır.
Kurumsal bir ortamda çalışması güvenli mi?
Güvenlik, kendi kendine barındırılan mimariye entegre edilmiştir; geçit ve optimizasyon, altyapınız içinde (örneğin, Docker veya Kubernetes) çalışır ve istem/yanıt içeriği tesis içinde kalır. Ayrıca, optimizasyon, çıktıları sabit tutmak için deterministik dönüşümler kullanır ve ölçüm, harcama ataması için yalnızca içeriksiz meta verileri gönderir. Bu tasarım seçimleri, dışa maruz kalmayı sınırlar ve ekip başına ve proje başına kullanım raporlaması sağlar.
Kendi barındırılan altyapıyı zaten yöneten mühendislik ekipleri için hedeflenmiş bir araç
Anyray Connect, LLM trafiğinin ayrıntılı yönetimine ihtiyaç duyan ve zaten konteynerleştirilmiş veya yerel hizmetler yürüten mühendislik ve DevOps ekiplerine uygundur. Mevcut entegrasyonları koruyarak standart bir API sunar ve hassas istemleri ağ içinde tutar. Ana ticaret noktası, operasyonel gereksinimdir: ekiplerin optimizasyon ve atıf özelliklerinden yararlanmak için geçit altyapısını barındırması ve sürdürmesi gerekir.
