Jak znaleźć lokalne serwery modeli AI działające w naszej sieci?

Szukaj usług, które udostępniają lokalne środowiska modeli, i ruchu wokół nich. Narzędzia uruchamiające modele językowe lokalnie zwykle otwierają API HTTP na znanym domyślnym porcie, oferują interfejs WWW i przy pierwszej konfiguracji pobierają duże pliki modeli z publicznych repozytoriów. Pomagają więc trzy sprawdzenia: autoryzowane skanowanie zakresów wewnętrznych pod kątem domyślnych portów popularnych środowisk i nieoczekiwanych interfejsów WWW; sprawdzenie, które maszyny pobierały wielogigabajtowe pliki z repozytoriów modeli; i lista hostów z mocnymi GPU, którą IT często już zna. Potem zapytaj właścicieli, do czego służy każdy serwer, kto ma do niego dostęp i jakie dane do niego trafiają. Wiele z nich to nieszkodliwe eksperymenty; niektóre zostają otwarte dla całej sieci bez uwierzytelniania. NetSenX od planu Pro pokazuje ruch do lokalnie uruchomionych środowisk modeli językowych: który host je uruchamia lub wywołuje i ile danych przepływa, obok zewnętrznych usług AI. Nie widzi promptów ani odpowiedzi modelu.

← Wszystkie pytania (45): Korzystanie z AI i bezpieczeństwo AIWszystkie tematy