NVIDIA bietet mit dem Produkt NIM (NVDIA Interference Microservices) mehr oder weniger fertig konfigurierte Container an, die es auf einfache Weise ermöglichen sollen, Open Source KI-Modelle in einer eigenen Infrastruktur laufen zu lassen und diese via APIs zu nutzen. So wie ich das verstehe, wäre das eine private-Cloud Alternative zu den verschiedenen API-Anbietern, wie z. B. Together AI
Kommentare