POST /v1/chat/completions
142 token/s
Illustrativt gränssnitt – din modell, din endpoint, din data.
Välj bland utvalda öppna modeller eller peka på valfritt repository på Hugging Face som vLLM stöder – instruct, chatt, kod, embedding eller vision-språk.
Välj en GPU-flavor och en startstorlek från din GPU-kapacitet hos WECORE. Preflight-kontroller bekräftar att VRAM och kvot passar modellen innan den startar.
WECORE driftsätter vLLM och en webbaserad chattapp åt dig – modellvikterna hämtas, serveras och hälsokontrolleras, och exponeras bakom din egen API-nyckel per tjänst.
Använd den inbyggda webbchatten, eller peka dina appar mot den OpenAI-kompatibla endpointen. Följ token/s, latens och GPU-användning i de inbyggda instrumentpanelerna.
Sätt upp en intern assistent eller en RAG-chattbot som svarar utifrån dina egna dokument – ett privat alternativ till publika chattjänster, med källor som stannar i ditt nätverk.
Servera en kodmodell bakom det OpenAI-kompatibla API:et för att driva IDE-assistenter, kodgranskningsbottar och verktygsanvändande agenter – fakturerat som GPU-tid, inte per token till en leverantör.
Driftsätt en vision-språkmodell för bildförståelse, frågor och svar om skärmdumpar och dokumentextraktion med bildanalysgränssnittet, allt på accelererade noder.
model: meta-llama/Llama-3.1-8B-Instruct
backend: vllm (openai-compatible)
gpu: 1 × A100-80GB
ui: web chat + image analysis
expose: https + per-service API key
status: SERVING · 142 tok/s
Utgå från granskade öppna modeller med rimliga standardinställningar, eller ta med valfritt repository på Hugging Face som vLLM stöder – vikter bakom åtkomstkontroll hämtas med din egen token.
Ett stabilt /v1-API för chatt och completions gör att befintliga SDK:er, agenter och verktyg pekar mot WECORE genom att byta en enda bas-URL.
Varje modell körs som en hanterad tjänst på en dedikerad server, och passformen – GPU-minne, kontextgränser, planbehörighet – kontrolleras innan något skapas.
Färdiga instrumentpaneler visar genomströmning, latens, ködjup och GPU-utnyttjande från dag ett.
Prompter, svar och vikter stannar på operatörslagring i ditt moln – inga API-anrop till tredje part, ingen dataexport till en modelleverantör.
Uppskatta VRAM, GPU-timmar och kostnad innan en modell startar, och sluta betala i samma stund som du stoppar en inaktiv modell.
Det är ett självhostat startverktyg för LLM:er: du väljer en öppen modell och WECORE driftsätter den på dina GPU-noder med ett webbaserat chattgränssnitt och ett OpenAI-kompatibelt API. Mönstret är inspirerat av StackHPC:s Azimuth LLM-appar, anpassat för att köras på WECORE:s GPU-infrastruktur.
Alla modeller som vLLM stöder och som serveras från Hugging Face – inklusive Llama, Qwen, Mistral, DeepSeek, Gemma och vision-språkmodeller. Vi levererar utvalda förval med rimliga standardinställningar, och du kan peka på ditt eget repository; vikter bakom åtkomstkontroll hämtas med din egen åtkomsttoken.
Genom ett OpenAI-kompatibelt /v1-API för chatt och completions. Befintliga SDK:er, agentramverk och verktyg fungerar genom att bara byta bas-URL – ingen omskrivning. En inbyggd webbchatt (och ett bildanalysgränssnitt för visionmodeller) ingår för den som inte vill skriva kod.
Ingenstans utanför ditt moln. Prompter, svar, modellvikter och loggar stannar på operatörslagring i din WECORE-infrastruktur. Det görs inga API-anrop till tredje part och ingen data lämnar molnet till en modelleverantör, vilket gör tjänsten till en stark kandidat för känsliga och reglerade arbetsbelastningar.
På GPU-kapacitet i ditt eget WECORE-moln – aldrig på delad leverantörshårdvara. Varje modell körs som en hanterad tjänst på en dedikerad server, och endpointen skyddas av en API-nyckel per tjänst. Du äger GPU:erna; WECORE kör serveringslagret på dem.
Ja. Färdiga instrumentpaneler visar token/s, latens, ködjup och GPU-utnyttjande. Eftersom du kör på GPU:er du redan betalar för är kostnaden GPU-tid – och stoppar du en inaktiv modell stoppar du kostnaden med den.
De är generella plattformar som du bygger på: KaaS för containerbaserade applikationer och HPC-plattformen för Slurm-baserad batchberäkning. LLMaaS är en färdig produkt snarare än en plattform – den serverar öppna modeller bakom ett chattgränssnitt och ett OpenAI-kompatibelt API i ett steg, så att du aldrig behöver sätta ihop inferensstacken själv. Du behöver ingen av de andra produkterna för att använda den.