Gyorsabban kezdhet válaszolni a Claude a hosszú beszélgetésekben
Az Anthropic új megoldásával az alkalmazásoknak nem kell minden kérdésnél újraküldeniük a teljes beszélgetést. A cég szerint ez a nagyon hosszú munkamenetekben rövidíti a válasz előtti várakozást, az árazáson azonban nem változtat.
Generált kép
Nyilvános bétában elérhetővé tette az Anthropic a message threads, vagyis üzenetszálak funkciót a Claude fejlesztői felületén. A november 2-án bemutatott újítás azoknak az alkalmazásoknak lehet hasznos, amelyek hosszú beszélgetéseket vagy sok lépésből álló feladatokat kezelnek.
Elég elküldeni, ami új
Egy Claude-ra épülő alkalmazás eddig minden fordulóban újraküldte az előzményeket. Ebbe a korábbi üzenetek mellett a munkához használt eszközök eredményei is beletartozhattak. Hosszú feladatoknál így egyre több adatot kellett továbbítani és előkészíteni, mielőtt elindulhatott a válasz.
Az üzenetszál első kérése még a teljes beszélgetést tartalmazza. A következőknél viszont elég az új üzeneteket és az előző válasz azonosítóját elküldeni: az előzményeket átmenetileg a szolgáltató őrzi.
Mit jelent a 35 százalékos gyorsulás?
Az Anthropic közlése szerint a Claude Code 500 ezer és egymillió token közötti kéréseinél nagyjából 35 százalékkal csökkent az első válaszrészletig tartó várakozás mediánja. Ez a vizsgált, nagyon hosszú kérésekre vonatkozik, nem minden Claude-beszélgetésre és nem a teljes válasz elkészülési idejére.
A modell továbbra is a teljes előzményt dolgozza fel. A kisebb adatküldés ezért önmagában nem jelent alacsonyabb tokenhasználatot vagy olcsóbb működést.
Rövid ideig megőrzött előzmények
A fejlesztői dokumentáció szerint a szál az utolsó kérés után öt perccel lejár. Ilyenkor az alkalmazásnak ismét el kell küldenie a teljes beszélgetést, és új szálat kell indítania. A fejlesztőnek ezért továbbra is meg kell őriznie a saját példányát az üzenetekből.
Az Anthropic a szál tartalmát titkosítva, memóriában tartja, tartós tárhelyre nem írja, és az utolsó használatot követően legfeljebb egy órán belül törli. A funkció ugyanakkor nem használható a nulla adatmegőrzést előíró, úgynevezett ZDR-beállítással.
A megoldás elsősorban az aktív, sok fordulóból álló munkameneteket célozza, például programozási feladatokat vagy dokumentumok feldolgozását. Rövid, alkalmi kérdéseknél nem érdemes automatikusan ugyanekkora gyorsulásra számítani.
Megosztom a Facebookon ↗
