Wie finde ich lokale KI-Modellserver in unserem Netz?
Suchen Sie nach den Diensten, die lokale Modell-Laufzeitumgebungen öffnen, und nach dem Verkehr um sie herum. Werkzeuge, die Sprachmodelle lokal betreiben, starten meist eine HTTP-API auf einem bekannten Standardport, bieten eine Weboberfläche und laden bei der Einrichtung große Modelldateien von öffentlichen Modell-Plattformen. Drei Prüfungen helfen daher: ein genehmigter Scan interner Bereiche auf die Standardports verbreiteter Laufzeitumgebungen und auf unerwartete Weboberflächen; ein Blick darauf, welche Rechner Dateien mit mehreren Gigabyte aus Modell-Repositories geladen haben; und eine Liste der Hosts mit leistungsstarken GPUs, die die IT oft schon kennt. Fragen Sie dann die Verantwortlichen, wofür jeder Server da ist, wer ihn erreichen kann und welche Daten hineingehen. Viele sind harmlose Experimente; manche stehen ohne Authentisierung dem ganzen Netz offen. NetSenX zeigt ab dem Pro-Plan den Verkehr zu lokal betriebenen Sprachmodell-Laufzeitumgebungen: welcher Host eine betreibt oder aufruft und wie viele Daten fließen, neben externen KI-Diensten. Prompts und Antworten des Modells sieht es nicht.