LATEST NEWS

- News from the industry

Fastly hjälper utvecklare

Att skapa ett bättre internet med ny AI-accelerator
Fastly, Inc. En ledande global leverantör av innehållsnätverk och edgelösningar, lanserar Fastly AI Accelerator, deras första AI-lösning för att förbättra utvecklares prestanda och minska kostnaderna för applikationer som använder stora språkmodeller (LLM).

AI och stora språkmodeller har förändrat techbranschen och hur många människor arbetar, enligt Stephen O’Grady, chefsanalytiker på RedMonk. Trots hypen kring stora språkmodeller ser Stephen en trend där utvecklare och företag i allt högre grad väljer mindre modeller för att minska kostnader och spara tid. Dessutom går det snabbare att träna mindre modeller, och hårdvaran är mer lättillgänglig.

Med hjälp av intelligent semantisk cachelagring är Fastly AI Accelerator utvecklad för att minska API-anrop och kostnader. Den bygger på Fastlys Edge Cloud Platform och använder avancerad cacheteknik för intelligent lagring av data. Detta minskar behovet av att hämta information från externa källor, vilket optimerar prestandan för appar som använder stora språkmodeller. ChatGPT är den första modellen som stöds, men fler kommer att läggas till.

Populära AI-applikationer hanterar hundratusentals API-anrop varje dag, varav många är snarlika. Utan semantisk cachning kräver varje anrop till språkmodellen en direktkontakt med leverantören, något som både kostar tid och pengar. Med semantisk cachelagring kan Fastly AI Accelerator spara och återanvända svar på liknande frågor direkt från Fastlys edge-plattform, vilket sparar både tid och kostnader.

– Fastly tycker det är viktigt att alltid lyssna på utvecklare för att förstå både vad de är entusiastiska över och vilka deras utmaningar är, säger Anil Dash, Vice President of Developer Experience på Fastly.

Utvecklare behöver bara uppdatera sin app för att använda en ny API-slutpunkt, oftast genom att ändra en enda kodrad. Fastly AI Accelerator implementerar sedan semantisk cachelagring för OpenAI-kompatibla API, vilket innebär att den förstår sammanhanget i förfrågningar och kan ge liknande svar på liknande frågor.

– Med Fastly AI Accelerator hjälper vi utvecklare att göra deras språkmodeller snabbare och effektivare, så att de kan fokusera på det som gör deras app eller webbplats unik, avslutar Anil Dash.

Med Fastlys utökade gratiskonto kan utvecklare snabbt komma igång. De får tillgång till Fastlys Content Delivery Network (CDN), gott om minne och lagring, samt en rad verktyg för säkerhet och prestandaövervakning.
Läs mer om Fastly AI Accelerator här: fastly.com/ai.

Är du utvecklare och vill prova Fastly? Klicka här.

LATEST NEWS

- News from the industry
7/1/2024
Lär dig om vakuum­mätarens viktiga rollEffektiviteten av värmekamerorHur man förstärker delar Samuel Sollenby återvänder till OlsonsEn historia inom skärande bearbetning
6/28/2024
Kantvikars betydande roll Kompressorns roll i kylanläggningarOTTO Digital Services för systemSäkerhet med väggrindar och vägbommarNyhet i sortimentet från Western Fabrications
6/27/2024
Födelsedag 60-års Rockwell arrangerar år­ets automationshändelse Optimera kabelhanteringen Saab tecknar kontraktOKQ8 Bank har tecknat ett 3 årigt avtal
6/26/2024
XMOR® revolutionerar grävandetInga maskiner är för stora för ossTrejon lanserar CONDORÅtervunnet material möter AI ROCKWOOL bygger stenullsfabrik i Sverige
6/25/2024
ISCAR LOGIQ6TURN - NYA unika svarvskär Modernt tillverkningssätt för framtidens industriProdukter som sprider glädjeNytt produktsortimentLanserar avancerad kaffebryggningslösning