Fastly hjälper utvecklare

Att skapa ett bättre internet med ny AI-accelerator

Fastly, Inc. En ledande global leverantör av innehållsnätverk och edgelösningar, lanserar Fastly AI Accelerator, deras första AI-lösning för att förbättra utvecklares prestanda och minska kostnaderna för applikationer som använder stora språkmodeller (LLM).

AI och stora språkmodeller har förändrat techbranschen och hur många människor arbetar, enligt Stephen O’Grady, chefsanalytiker på RedMonk. Trots hypen kring stora språkmodeller ser Stephen en trend där utvecklare och företag i allt högre grad väljer mindre modeller för att minska kostnader och spara tid. Dessutom går det snabbare att träna mindre modeller, och hårdvaran är mer lättillgänglig.

Med hjälp av intelligent semantisk cachelagring är Fastly AI Accelerator utvecklad för att minska API-anrop och kostnader. Den bygger på Fastlys Edge Cloud Platform och använder avancerad cacheteknik för intelligent lagring av data. Detta minskar behovet av att hämta information från externa källor, vilket optimerar prestandan för appar som använder stora språkmodeller. ChatGPT är den första modellen som stöds, men fler kommer att läggas till.

Populära AI-applikationer hanterar hundratusentals API-anrop varje dag, varav många är snarlika. Utan semantisk cachning kräver varje anrop till språkmodellen en direktkontakt med leverantören, något som både kostar tid och pengar. Med semantisk cachelagring kan Fastly AI Accelerator spara och återanvända svar på liknande frågor direkt från Fastlys edge-plattform, vilket sparar både tid och kostnader.

– Fastly tycker det är viktigt att alltid lyssna på utvecklare för att förstå både vad de är entusiastiska över och vilka deras utmaningar är, säger Anil Dash, Vice President of Developer Experience på Fastly.

Utvecklare behöver bara uppdatera sin app för att använda en ny API-slutpunkt, oftast genom att ändra en enda kodrad. Fastly AI Accelerator implementerar sedan semantisk cachelagring för OpenAI-kompatibla API, vilket innebär att den förstår sammanhanget i förfrågningar och kan ge liknande svar på liknande frågor.

– Med Fastly AI Accelerator hjälper vi utvecklare att göra deras språkmodeller snabbare och effektivare, så att de kan fokusera på det som gör deras app eller webbplats unik, avslutar Anil Dash.

Med Fastlys utökade gratiskonto kan utvecklare snabbt komma igång. De får tillgång till Fastlys Content Delivery Network (CDN), gott om minne och lagring, samt en rad verktyg för säkerhet och prestandaövervakning.
Läs mer om Fastly AI Accelerator här: fastly.com/ai.

Är du utvecklare och vill prova Fastly? Klicka här.

6/24/2024 - Industritorget