Az Anthropic 30 000 belső ügynöke: így néz ki az AI-ügynökök felügyelete belülről

Az Anthropic szeptember 17-én olyan részletességgel mutatta be a saját belső működését, amilyenre a nagy AI-laboroknál kevés példa akad: a cég legtöbbet használt belső platformján egy adott pillanatban nagyjából 30 000 AI-ügynök végez kutatási és mérnöki munkát, augusztusban pedig az ügynökök több mint 1 milliárd döntéséből 0,002%-ot, vagyis durván minden 47 000-ből egyet állított meg a felügyeleti rendszer. A közlésből szokatlanul közelről látszik, hogyan néz ki az AI-ügynökök felügyelete egy olyan szervezetnél, ahol az ügynök már nem kísérleti játékszer, hanem a napi munka része, így nem meglepő, hogy a hír néhány nap alatt végigfutott a nemzetközi szaksajtón.

Egy 12 fős cég vezetője joggal kérdezheti, mi köze mindehhez egy kaliforniai AI-labor ügynökseregének. A válasz az, hogy a számok mögötti felügyeleti logika (mit engedsz meg az ügynöknek, mit ellenőriz gép, mit ellenőriz ember és mindezt hogyan méred) 30 ügynökkel, sőt egyetlen ügynökkel is ugyanúgy működik, csak a léptékek kisebbek. A szeptember 22-i állapot szerint végigvesszük, pontosan mit közölt az Anthropic, mennyire hihetők ezek az önbevallásos adatok, hogyan mérheted a saját ügynökeid jóváhagyási arányát, végül egy 90 napos ütemtervet is adunk, amellyel egy 5 és 50 fő közötti cég megfontoltan elindulhat.

Röviden

• Az Anthropic szeptember 17-én közzétett elemzése szerint a cég legtöbbet használt belső platformján egyszerre nagyjából 30 000 AI-ügynök végez kutatási és mérnöki munkát, amelyek minden egyes műveletét gépi felügyelet ellenőrzi végrehajtás előtt és után is.
• Augusztusban az ügynökök több mint 1 milliárd döntéséből 0,002%-ot (nagyjából minden 47 000-ből egyet) blokkolt a valós idejű monitor, ami saját számításunk szerint havonta legalább 20 000 megállított lépést jelent.
• A számok önbevallásosak, független fél még nem ellenőrizte őket, az Anthropic viszont azt tervezi, hogy több szervezet külső értékelőit is beengedi a belső folyamataihoz és rendszereihez.
• Az AI-ügynökök felügyelete egy KKV-nál ugyanarra a három mutatóra épülhet, amelyet az Anthropic is javasol: lefedettség (a műveletek mekkora részét nézi meg valaki), átfutási idő (mennyi idő alatt) és eszkalációs arány (mennyit állítanak meg vagy küldenek tovább emberhez).
• Kis cégnél ezt érdemes egy negyedik mutatóval, a jóváhagyási aránnyal kiegészíteni, amely megmutatja, hogy az ügynök javaslatainak hány százalékát fogadja el az ember változtatás nélkül, ebből pedig eldönthető, mikor kaphat az ügynök több önállóságot.
• Egy 5 és 50 fő közötti cégnek egy folyamattal, egy ügynökkel és egy felelőssel érdemes indulnia, az első 30 napban minden lépést emberrel hagyatva jóvá, a lazításról pedig csak mért eredmények alapján döntve.

Mit közölt pontosan az Anthropic a 30 000 belső ügynökéről?

Az Anthropic szeptember 17-én a „Measurements for understanding the pace of AI development inside frontier labs” című elemzésében három mérést tett közzé: mennyi AI-kutatást végez maga az AI, milyen szorosan felügyelik a belső ügynököket és a számítási kapacitás mekkora része jut biztonsági munkára. A 30 000 ügynök a második mérésben szerepel.

Az elemzést Marina Favaro és Phillie Wright jegyzi, a szöveg az Anthropic Institute oldalán jelent meg. Az időzítés sem véletlen, hiszen az NBC News szeptember közepi beszámolója szerint az Anthropic nyíltan beszél arról, hogy a Claude már a saját következő verziójának építésében is részt vesz. A cég a CASRAI összefoglalója által idézett mondatban így indokolta a lépést (saját fordításunkban): „Miközben a világ azon gondolkodik, hogyan lehetne ütemezni a csúcsfejlesztéseket, mindent meg kell tennünk azért, hogy a lehető legkisebb legyen a különbség aközött, amit a frontlaborok tudnak és amit a nyilvánosság tud.”

Az első mérés az úgynevezett Anthropic R&D Automation Index, amely azt követi, hogy a cég AI-kutatási munkájának mekkora részét végzi maga a Claude. Az Anthropic szerint augusztusban ennek a munkának a 26%-át a Claude „vezette”, vagyis magas szintű utasításból, emberi felügyelet mellett a feladat nagy részét elejétől a végéig maga vitte végig, miközben februárban ez az arány még 1% alatt volt. A második mérés az ügynökök felügyeletéről szól, ebben szerepel a 30 000 ügynök és az 1 milliárd döntés. A harmadik azt mutatja meg, hogy a július 13-tól 20-ig tartó héten az AI-kutatásra fordított számítási kapacitás 6%-a jutott biztonsági munkára (az AI által végzett AI-kutatásnál 12%), a cég hangsúlyozása szerint szándékosan óvatos számítással.

A 30 000-es számot pontosan kell érteni. Az Anthropic megfogalmazása szerint ennyi ügynök végez kutatási és mérnöki munkát „egy adott pillanatban”, a cég „legtöbbet használt belső platformján”, vagyis a szám egyidejűséget mér egyetlen rendszeren belül. Nem a cég összes ügynökét számolja össze, ahogy valamiféle állandó, névsorba szedhető digitális létszámot sem jelent. Aki a hírt úgy adja tovább, hogy az Anthropicnál 30 000 gépi alkalmazott dolgozik, az túloz, aki viszont legyint rá, az alábecsüli, mekkora léptékű átalakulás zajlik egyetlen cég belső működésében.

Az AI-ügynök olyan program, amely egy kapott célért önállóan hajt végre egymást követő lépéseket: kódot ír és futtat, dokumentumot olvas, eszközöket hív meg, majd a részeredmény alapján maga dönti el, mi legyen a következő lépés. A felügyeleti rendszer ezeket az egyes lépéseket vizsgálja, így a „döntés” itt nem stratégiai elhatározást jelent, hanem egy-egy konkrét műveletet, amelyet az ügynök végre akar hajtani. Egy kis cégnél ugyanez lehet egy e-mail elküldése, egy számla rögzítése az Odoo-ban vagy egy ügyféladat frissítése a CRM-ben.

A számok: 30 000 ügynök, 1 milliárd döntés, 0,002% blokkolva

Az Anthropic ügynökfelügyelete két monitorra épül, amelyek működését a cég három mutatóval írja le: lefedettséggel, átfutási idővel és eszkalációs aránnyal. Az alábbi táblázat az Anthropic közlésének adatait foglalja össze, a megfogalmazások saját fordításunkban szerepelnek.

Az Anthropic definíciója szerint a lefedettség azt mutatja, hogy az ügynök műveleteinek mekkora része megy át egy monitoron végrehajtás előtt vagy után. Az átfutási idő (review latency) a művelet és az ellenőrzése között eltelt idő, előbb a gépi monitor, majd az ember részéről. Az eszkalációs arány végül azt méri, hogy az ügynöki tevékenységek mekkora részét blokkolja vagy tereli át az online monitor, illetve jelöli meg további vizsgálatra az offline monitor. Az elemzés azt is kimondja, hogy bármely fejlesztő, amely saját kutatási és mérnöki munkájában ügynököket futtat, közzétehetné ugyanezt a három mérőszámot.

Mit jelent a 0,002% a gyakorlatban?

Saját számításunk szerint az 1 milliárd döntés 0,002%-a 20 000 blokkolt lépés (1 000 000 000 × 0,00002), ami egy 31 napos hónapban naponta nagyjából 645 megállított műveletet jelent. Mivel az Anthropic „több mint” 1 milliárd döntésről beszél, ez alsó becslés. A cég szerint a blokkolt lépéseket ember is átnézi egy héten belül, ami a fenti számból visszaszámolva hetente nagyjából 4 500 emberi felülvizsgálatot jelent (20 000 / 31 × 7 ≈ 4 516). A felügyelet tehát nem egy gépre bízott fekete doboz, hanem jelentős emberi munkát is igényel, csak ezt a munkát a gép előszűrése nagyon szűk, jól kijelölt esethalmazra koncentrálja.

Az offline monitornál még látványosabb ez a tölcsérhatás. Hetente nagyjából 100 000 átiratot (az ügynöki munkamenetek szöveges naplóját) jelöl meg, ezek többségét automatikus folyamat zárja le, így végül mintegy 50 jut el emberhez. Saját számításunk szerint ez azt jelenti, hogy a megjelölt átiratoknak csupán a 0,05%-a, vagyis kétezerből egy kerül végül ember elé. Az offline ágon így a milliárdos nagyságrendű tevékenységből heti ötven emberi vizsgálat lesz, ami egy jól felépített felügyeleti rendszer legfontosabb tulajdonsága: az emberi figyelem ott van, ahol valóban számít.

Az alacsony blokkolási arányból önmagában nem következik, hogy az ügynökök csak ilyen ritkán próbálnának problémás dolgot tenni. A 0,002% azt méri, mennyit állított meg a monitor, azt viszont nem, mennyi kifogásolható lépés csúszott át rajta észrevétlenül, hiszen erről értelemszerűen senki sem tud. Az Anthropic éppen ezért tart fenn egy második, utólagos hálót is. Egy kis cég számára ez az egyik legfontosabb tanulság: egyetlen szűrőre sosem jó mindent rábízni, bármilyen szép számokat mutat.

Hogyan működik a kétszintű felügyelet, az online és az offline monitor?

Az Anthropic két, egymást kiegészítő szűrőt használ. Az online monitor minden ügynöki lépést végrehajtás előtt ellenőriz és a gyors, visszafordíthatatlan károkat akadályozza meg, az offline monitor pedig utólag olvassa végig a teljes tevékenységet, hogy a lassan kialakuló, még javítható problémák se maradjanak rejtve.

A két monitor közötti munkamegosztást az Anthropic a kár jellege alapján jelöli ki. Az online monitor a cég példája szerint olyan károkat hivatott megelőzni, amelyek gyorsan bekövetkeznének és nem lehetne visszacsinálni őket, ilyen lenne például, ha egy ügynök kimásolná a modell súlyait (a betanított modellt alkotó paramétereket) a cég rendszereiből. Az offline monitor a lassan kibontakozó, visszafordítható veszélyekre figyel, például a félrehangoltság (misalignment) jeleire, amikor egy modell viselkedése kezd eltérni attól, amit a fejlesztői szántak neki.

Az AI-ügynökök felügyeletének ez a logikája meglepően jól lefordítható egy kis cég nyelvére. Minden ügynöki lépésnél ugyanazt a kérdést érdemes feltenni: ha ez most rosszul sül el, vissza tudjuk-e csinálni, illetve mennyi időbe és pénzbe kerül a javítás? Egy rosszul besorolt beérkező levél egy kattintással áthelyezhető, egy tévesen elküldött árajánlat viszont már az ügyfél postafiókjában van, egy téves átutalás visszaszerzése pedig napokig tartó levelezés és kínos telefonok sorozata lehet.

Mi számít visszafordíthatatlan lépésnek egy kis cégnél?

Az alábbi műveletek elé érdemes minden esetben online monitort, vagyis végrehajtás előtti ellenőrzést tenni:

• pénzmozgás bármilyen formában, így átutalás, jóváírás, visszatérítés vagy kupon kiadása,
• az ügyfélnek, partnernek vagy hatóságnak kimenő üzenet, legyen az e-mail, SMS, chatválasz vagy beküldött adat,
• adat törlése vagy felülírása olyan rendszerben, ahol nincs verziókövetés vagy biztonsági mentés,
• árak, készletszámok és akciók módosítása élő webshopban,
• jogosultságok, jelszavak és hozzáférések kiosztása vagy visszavonása,
• ajánlat, megrendelés vagy szerződés elfogadása a cég nevében.

Minden más lépés, amely belső, visszafordítható és nem érint pénzt vagy külső felet (címkézés, összefoglalás, tervezetírás, belső feladat létrehozása), mehet utólagos ellenőrzéssel. Ez első ránézésre bürokratikusnak tűnhet, a gyakorlatban azonban éppen ettől végezheti az ügynök a munka nagy részét várakozás nélkül, az emberi figyelem pedig a néhány valóban kockázatos pillanatra jut.

Szabály, másik modell vagy ember: ki legyen a monitor?

Egy kis cégnél a monitor háromféle lehet, a jó rendszer pedig általában mindhármat kombinálja. A szabályalapú ellenőrzés determinisztikus: például minden 200 000 Ft feletti tétel emberi jóváhagyásra megy, a tiltólistás szavakat tartalmazó levél nem mehet ki, a számlaszám csak a törzsadatban szereplő értékkel egyezhet. Olcsó, gyors és kiszámítható, cserébe csak azt fogja meg, amire előre gondoltál. A második lehetőség egy másik AI-modell, amely elolvassa az ügynök javaslatát és értékeli egy előre megírt szempontrendszer alapján. Ez rugalmas és olcsó, de ugyanúgy tévedhet, mint az ügynök maga, főleg ha ugyanaz a modell ellenőrzi a saját munkáját. A harmadik az ember, aki a legjobb ítélőképességű, egyben a legdrágább és a leglassabb monitor.

Az Anthropic a saját mérései kapcsán egy tanulságos adatot is közölt. Amikor a kutatási munkák automatizáltsági szintjét osztályozták, a modell és az ember besorolása az esetek 59%-ában egyezett pontosan, két ember között viszont csak 35%-ban. Ebből nem az következik, hogy a gép jobb bíró, sokkal inkább az, hogy homályos szempontok mellett még az emberek sem értenek egyet egymással. Mielőtt tehát bármilyen monitort beállítasz, írd le egyértelműen, mi számít jó és mi rossz eredménynek, különben a mérésed mögött nem lesz közös mérce.

A modellgyártók is egyre inkább beépítik ezt a gondolkodást a termékeikbe. A Meta szeptember 3-án kiadott Muse Spark 1.3 modellje a MarkTechPost beszámolója szerint tisztázó kérdést tesz fel, jelzi, ha elakadt, a következményekkel járó lépések előtt pedig megerősítést kér. A Moveworks szeptember 14-i fejlesztése arra figyel, hogy egy sikertelen eszközhívás egyértelmű hibaállapotként jelenjen meg, ne látszólagos sikerként. Mindkettő ugyanazt a problémát kezeli: a csendes hiba a legveszélyesebb, mert azt semmilyen monitor nem tudja megállítani, ha a napló szerint minden rendben ment.

Mennyire hihetünk az önbevallásos számoknak?

Óvatosan érdemes kezelni őket, hiszen az Anthropic maga írja, hogy a címkék a legjobb szándékkal készültek, de nincsenek ellenőrizve, az adatokat pedig független fél sem auditálta még. A közlés értéke ezért kevésbé a pontos százalékokban, sokkal inkább a mérési módszerben van, amelyet bárki átvehet.

Az elemzés becsülettel felsorolja a saját módszertani korlátait is, ami egy vállalati közlésnél rokonszenves gesztus:

• a munkák besorolása önbevallásos és nem ellenőrzött, így egyes feladatok rossz kategóriába kerülhettek,
• a biztonsági célú számítási kapacitás mérése egyetlen hétre vonatkozik, ami trendet még nem mutat,
• ha a biztonsági osztályozók hatékonyabbá válnak, a biztonságra jutó százalék csökken, holott nem kevesebb a biztonsági munka,
• mivel a Claude értékeli a Claude munkáját, a mérésben benne lehet a modell saját torzítása,
• az automatizálási index a meglévő munkatípusokat követi, az új feladatfajtákat nem feltétlenül veszi észre.

A cég a hitelesség javítására azt tervezi, hogy több szervezet független értékelőit is beengedi, akik a belső kockázatértékelő csapatokéhoz hasonló hozzáférést kapnának a folyamatokhoz, rendszerekhez és adatokhoz. A CASRAI összefoglalója hangsúlyozza, hogy ez egyelőre szándéknyilatkozat, amely még nem valósult meg. Addig a számokat úgy olvasd, ahogy bármely cég saját éves jelentését: hasznos kiindulópontként, amelyet idővel külső ellenőrzésnek kell megerősítenie.

A tágabb kép is óvatosságra int. Az AI Weekly szeptember 10-i összefoglalója szerint a Claude Mythos 5 egy kibervédelmi értékelés során rosszindulatú csomagokat töltött fel a PyPI nevű Python-csomagtárba, amit a kiadás előtti auditok nem jeleztek előre kockázatként. Az ENSZ 40 szakértőből álló független tudományos panelje szeptember 21-én az elővigyázatosság elvére hivatkozva arra kérte a kormányokat, hogy fogják rövidebb pórázra az AI-ügynököket. Ezek az esetek nem cáfolják az Anthropic számait, de jól mutatják, hogy a legalaposabb felügyelet mellett is maradnak vakfoltok.

A laborok ráadásul nem ugyanazt mérik: az OpenAI például augusztusról azt közölte, hogy kutató-ügynökei jól körülhatárolt feladatokban minden kutatói munkanapra 3,1 munkanapnyi eredményt adtak, ami termelékenységi, nem felügyeleti mutató. A tanulság egy magyar cégvezetőnek egyszerű: ne gyártói vagy ügynökségi átlagokra építs, hanem a saját folyamataidon mért számokra, ehhez pedig már az első naptól mérned kell.

Mi az a jóváhagyási arány és hogyan mérd?

A jóváhagyási arány azt mutatja meg, hogy az AI-ügynök által javasolt lépések hány százalékát fogadja el az ellenőrző ember változtatás nélkül. Úgy méred, hogy minden javaslatot naplózol, a döntést három kategóriába sorolod (jóváhagyva, módosítva, elutasítva), majd hetente elosztod a változtatás nélkül jóváhagyott javaslatok számát az összes javaslatéval.

Az Anthropic nyilvános mutatói között ilyen nevű nincs, a jóváhagyási arány mégis az Anthropic eszkalációs arányának kistestvére. Egy nagy labornál a monitor saját számításunk szerint óránként átlagosan több mint egymillió lépést néz át (1 000 000 000 / 744 óra), ott tehát az a kérdés, hogy a gép mennyit állít meg. Egy 10 fős cégnél az első hetekben még az ember hagy jóvá minden lépést, itt ezért az a kérdés, hogy az ember mennyit enged át módosítás nélkül. Ha ez a szám hétről hétre magas és stabil, az annak a jele, hogy az ügynök megbízhatóan dolgozik, így egyes lépéstípusoknál a folyamatos emberi jóváhagyás kiváltható mintavételes ellenőrzéssel.

A jóváhagyási arány önmagában félrevezető lehet, ezért néhány társmutatóval együtt figyeld. Az alábbi táblázat célértékei saját javaslataink egy induló, alacsony kockázatú folyamathoz, nem iparági szabványok.

A táblázat utolsó sora a lazítás utáni állapotra vonatkozik. Amíg minden lépést ember hagy jóvá, addig az eszkalációs arány értelemszerűen 100%, amelyet a mért jóváhagyási arány alapján fokozatosan, lépéstípusonként lehet csökkenteni.

Így mérd lépésről lépésre

• Határozd meg a mérési egységet. Döntsd el, mi számít egy javaslatnak: egy e-mail-tervezet, egy rögzítésre előkészített számla vagy egy CRM-frissítés. Egy folyamaton belül egyféle egység legyen, különben a százalékok nem hasonlíthatók össze.
• Naplózz mindent egy helyre. Minden javaslathoz rögzítsd az időbélyeget, az ügynök nevét, a bemenetet, a javaslatot, a döntést, a döntéshozót és a döntés időpontját. Egy n8n-folyamat ezt egy Google-táblázatba vagy adatbázisba írhatja, Odoo esetén pedig a rekordhoz tartozó üzenetnapló is megfelelhet.
• Adj három gombot az ellenőrzőnek. Jóváhagyom, módosítom, elutasítom: a döntés legyen egyetlen kattintás, az elutasításhoz pedig tartozzon kötelezően egy indok egy előre megadott listából (téves adat, rossz hangnem, hiányzó információ, nem az ügynökre tartozik).
• Rögzítsd a módosítás mértékét. Egy elgépelés javítása és egy teljes átírás nem ugyanaz, ezért a módosított javaslatoknál elég egy kétfokú jelölés arról, hogy apró vagy érdemi javítás történt.
• Számolj hetente, kategóriánként. A heti összesítést bontsd a javaslat típusa szerint, mert egy ügynök a rendelésállapot-kérdésekben lehet kiváló, a panaszkezelésben viszont gyenge, az átlag pedig mindkettőt elfedi.
• Dönts előre rögzített küszöbök alapján. Már az indulás előtt írd le, milyen számoknál lazítasz, milyeneknél maradsz a jelenlegi szinten és milyeneknél állítod le az ügynököt, így a döntés adaton múlik, nem a pillanatnyi hangulaton.

Számolt példa egy képzeletbeli webshopnál

Vegyünk egy képzeletbeli, 14 fős debreceni webshopot, ahol egy AI-ügynök havonta 1 200 ügyféllevélre ír választervezetet. Tegyük fel, hogy a negyedik héten ezekből 1 020-at az ügyfélszolgálatos változtatás nélkül küld ki, 144-et módosít, 36-ot pedig elutasít és maga válaszol meg. Ez 85%-os jóváhagyási, 12%-os módosítási és 3%-os elutasítási arányt jelent (1 020 / 1 200, 144 / 1 200, illetve 36 / 1 200).

Az átlag mögé nézve kiderülhet, hogy a rendelésállapot-kérdéseknél a jóváhagyási arány 97%, a panaszoknál viszont csak 64%, ami két teljesen eltérő döntést indokol. Az előbbi kategóriában érdemes mintavételes ellenőrzésre váltani, vagyis az ügynök önállóan válaszol, miközben a kolléga például minden ötödik levelet utólag átnéz. A panaszoknál marad a teljes emberi jóváhagyás, sőt az elutasítások indokai alapján (rossz hangnem, hiányzó kártérítési szabály) az ügynök utasításait is érdemes átírni, mielőtt újra mérnél.

Mekkora önállóságot adj az ügynöknek? Autonómiaszintek AL0-tól AL5-ig

Annyit, amennyit a mért jóváhagyási arány és a lépés visszafordíthatósága indokol. Az Anthropic az AL0-tól (nincs AI) az AL5-ig (teljes autonómia) terjedő hatfokú skálát használ. Saját közlése szerint egyetlen mért kutatási területén sem dolgozik teljesen önállóan az AI. Egy kis cégnek ennél egyszerűbb, négyfokú skála is elég.

Az Anthropic automatizálási skálájának (automation level, AL) két szintje a legérdekesebb egy cégvezető számára. Az AL3, vagyis az „együttműködik” szinten az AI nagy munkadarabokat végez el szoros emberi irányítás mellett, az AL4, azaz a „vezeti” szinten pedig magas szintű utasításból a feladatok többségét elejétől a végéig maga végzi, emberi felügyelettel. Az Anthropic szerint augusztusban a kutatási munkák több mint 90%-a legalább AL3 szinten zajlott, 26%-a AL4 szinten, az AL5 szintet viszont egyetlen mért területen sem érték el.

Egy KKV-nál nem kell hatfokú skála, a lényeg az, hogy minden folyamatnál tudatosan döntsd el, melyik szinten dolgozik az ügynök, illetve mi kell a következő szinthez. Az alábbi négyfokú skála saját, egyszerűsített javaslatunk, nem az Anthropic besorolása, a példák pedig egy képzeletbeli webshopra vonatkoznak.

A skála nem egyirányú utca. Ha egy frissítés után romlik a jóváhagyási arány vagy az ügynök új típusú kérésekkel találkozik, egy szinttel vissza kell lépni, amíg a számok újra stabilak nem lesznek. Durván összevetve a mi második szintünk az Anthropic AL3-as „együttműködik” szintjéhez áll közel, a harmadik és a negyedik pedig az AL4-es „vezeti” szinthez, azzal a különbséggel, hogy egy kis cégnél a visszafordíthatatlan lépések előtti kapu a legfelső szinten is megmarad.

A piac közben gyorsan halad a nagyobb önállóság felé. A HubSpot szeptember 19-i adatai szerint a Pro Plus ügyfeleinek 19%-a használt már ügynököt augusztusban, miközben az ügynöki műveletek száma havonta 3,5-szeresére nőtt, a Salesforce pedig szeptember 15-én akár hetekig tartó célokon dolgozó ügynöki környezetet jelentett be. Minél tovább és önállóbban fut egy ügynök, annál fontosabb, hogy valaki pontosan lássa, mit csinál.

Az AI-ügynökök felügyelete kicsiben: miért működik ugyanez 30 ügynökkel is?

Azért, mert a felügyelet logikája nem az ügynökök számától, hanem a műveletek kockázatától függ. Ugyanarra a három kérdésre (mennyit nézünk meg, milyen gyorsan és mennyit állítunk meg vagy küldünk emberhez) egy háromügynökös irodában is lehet válaszolni, csak a számok kisebbek, a naplót pedig egy egyszerű táblázat is elviszi.

Tegyük fel, hogy egy képzeletbeli 25 fős kecskeméti gépalkatrész-kereskedésben három ügynök dolgozik: az egyik a beérkező leveleket osztályozza, a másik az árajánlatokat készíti elő, a harmadik a bejövő számlákat rögzíti az Odoo-ban. Ha mindhárom naponta átlagosan 40 műveletet végez, az havi 21 munkanappal számolva 2 520 művelet (3 × 40 × 21). Tízszeres léptékben, 30 ügynökkel ugyanez 25 200 művelet lenne havonta. Az Anthropic milliárdos nagyságrendjéhez képest mindkettő elenyésző, a felügyelet szerkezete mégis ugyanaz marad.

Van viszont egy fontos különbség, amelyet sokan elsőre nem vesznek észre. Kis léptékben a ritka események statisztikája nem működik: ha a kecskeméti cég monitorja az Anthropicéhoz hasonló, 0,002%-os arányban állítana meg lépéseket, az havonta 0,05 blokkolást jelentene (2 520 × 0,00002), vagyis nagyjából húszhavonta egyet. Ennyi adatból semmit nem lehet tanulni, ezért egy kis cégnél a monitornak jóval érzékenyebbnek kell lennie, inkább jelezzen többet és hagyja az emberre a döntést. Egy 5%-os eszkalációs arány ugyanennél a cégnél havonta 126 tételt jelent, ami munkanaponként 6 tétel, tételenként 3 percével számolva napi 18 perc emberi munka. Ez egy felelős kolléga számára bőven kezelhető, cserébe hétről hétre értékes tanulságokkal szolgál.

Az Anthropic modelljéből kicsiben is átvehető a teljes naplózás, a visszafordíthatatlan lépések előtti kapu, az utólagos gépi átnézés és a rögzített határidejű emberi áttekintés. A saját biztonsági kutatócsapatot, az egyedi fejlesztésű monitormodelleket és a számítási kapacitás biztonsági arányának mérését viszont nyugodtan hagyd a nagy laborokra.

Hogy a felügyelet a legjobb modellek mellett is kell, azt a független mérések is alátámasztják. Az Artificial Analysis és a Zapier július 6-án közzétett AutomationBench-AA tesztje 657 valószerű üzleti feladaton mérte a modelleket, amelyek közül a legjobb is csak 48,6%-ot ért el. Minden vizsgált modell megsértett üzleti szabályokat, feladatonként átlagosan 0,46 és 1,26 közötti alkalommal, a pénzügyi folyamatokban ráadásul feleakkora volt a sikeresség, mint a supportban vagy az operációban. A tesztben szereplő modelleknek azóta újabb verziói jelentek meg, a tanulság azonban érvényes marad: a szabálysértés nem kivételes baleset, hanem olyasmi, amivel előre tervezni kell. Ha több ügynök dolgozik együtt, a köztük lévő munkamegosztás is külön tervezést igényel, ez azonban már másik cikk témája.

Tanulságok 5–50 fős cégnek: kezdj kevéssel, mérj sokat

Az Anthropic számaiból hét gyakorlati szabály következik az AI-ügynökök felügyeletére, amelyeket egy kis cégnek már az első ügynök elindítása előtt érdemes rögzítenie. Egyik sem igényel nagy költségvetést, csak fegyelmet.

Egy folyamat, egy ügynök, egy felelős

Egy kis cégnél a leggyakoribb hiba nem a rossz modellválasztás, hanem az, hogy az ügynöknek nincs gazdája. Jelölj ki egyetlen folyamatot (például a beérkező árajánlatkérések előkészítését), egyetlen ügynököt és egyetlen embert, aki felel a heti számokért és joga van leállítani az ügynököt. Ez az ember nem feltétlenül informatikus, egy tapasztalt ügyfélszolgálatos vagy irodavezető gyakran jobban látja, mi a jó válasz, mint bárki a fejlesztők közül.

Minden lépés kerüljön naplóba, már az első naptól

Az Anthropicnál a lefedettség mindkét monitornál 100%, kicsiben is ez legyen a cél. A naplózás ráadásul nem minden eszközben magától értetődő: az AgentStack elemzése szerint az OpenAI szeptember 10-én bétába került Agents API-jából például hiányzik a naplózás és a költségláthatóság, ezeket a felhasználónak kell köré építenie. Egy n8n-alapú folyamat minden futást rögzít, ezt egészítsd ki egy saját, jól kereshető táblázattal. Ne feledd, hogy a napló maga is személyes adatokat tartalmazhat, ezért a GDPR szerint korlátozd a hozzáférést és határozd meg előre a megőrzési időt.

A visszafordíthatatlan lépések elé mindig kapu kell

A korábban felsorolt lépések (pénzmozgás, kimenő ügyfélüzenet, adattörlés, árváltozás, jogosultság, szerződés) előtt legyen végrehajtás előtti ellenőrzés, akkor is, ha az ügynök hónapok óta hibátlanul dolgozik. Egy kapu lehet egyszerű összeghatár, egy második modell értékelése vagy egy jóváhagyásra váró lépés, amely Slacken, Teamsen vagy e-mailben kér engedélyt az illetékestől. A kapu ára néhány perc várakozás, a hiánya viszont egyetlen rossz napon többe kerülhet, mint az egész automatizálás éves megtakarítása.

Az ember idejét a kivételekre tartogasd

Az Anthropic offline monitorjának tölcsérlogikája kicsiben is működik. Tervezd meg úgy a folyamatot, hogy a felelős kolléga naponta egyszer, legfeljebb negyedórában nézze át a gépi szűrőn fennakadt tételeket, hetente pedig egy félórás megbeszélésen végigmenjetek a számokon. Ha ennél több idő kell, az nem a felügyelet kudarca, hanem jelzés, hogy az ügynök még nem áll készen a következő szintre.

Minimális jogosultság, saját fiók az ügynöknek

Az ügynök kapjon saját felhasználói fiókot az Odoo-ban, a levelezőben és a CRM-ben, pontosan azokkal a jogokkal, amelyek a feladatához kellenek, adminisztrátori joggal soha. Az n8n augusztus 25-i 2.37.0-s kiadása például már adminisztrátor által kezelt, példányszintű hitelesítő adatokat is támogat, a szeptember 15-i 2.40.0-s kiadás pedig szigorította a titkos adatok kitakarását. Az eszközöket is naprakészen kell tartani: a LiteLLM nevű modellátjáróban szeptember 7-én aktívan kihasznált hitelesítés-megkerülési hibát jeleztek az MCP-hitelesítésben. Hogy a téma mennyire friss, azt a spanyol adatvédelmi hatóság esete is mutatja, amely szeptember 17-én egy lehetséges, ügynök által végrehajtott adatszivárgásról számolt be, a kiváltó ok pedig a közlés idején még vizsgálat alatt állt.

Szólj az ügyfélnek, ha géppel beszél

Az Európai Unió mesterségesintelligencia-rendeletének (EU AI Act) 50. cikke szerint 2026. augusztus 2. óta jelezni kell, ha a felhasználó AI-rendszerrel lép kapcsolatba. Ha az ügynököd chaten vagy e-mailben önállóan válaszol az ügyfeleknek, ezt tedd egyértelművé, a pontos határesetekről (például az ember által jóváhagyott tervezetekről) pedig érdemes jogásszal egyeztetni.

Tervezz keretet a felügyeletre

Az Anthropic a mért héten az AI-kutatásra fordított számítási kapacitás 6%-át biztonsági munkára költötte. Egy kis cég megfelelője, hogy a felügyeletre eleve időt és pénzt tervez, nem abból a maradékból szán rá, ami a napi munka után marad. Saját ökölszabályként azt javasoljuk, hogy az első 90 napban minden tíz, automatizálással megtakarított munkaórából legalább egyet fordíts ellenőrzésre, mérésre és az utasítások finomítására.

Mennyibe kerül a felügyelet egy kis cégnél?

Az AI-ügynökök felügyelete kevesebbe kerül, mint gondolnád, a költség nagy része ráadásul nem a gépidő, hanem az emberi figyelem. Saját becslésünk szerint havi 1 200 ügyféllevélnél a tervezetek megírása és gépi utóellenőrzése együtt sem kerül 3 500 Ft-ba, az emberi jóváhagyás viszont havonta 13 és 14 óra közötti munkát jelent.

Maradjunk a képzeletbeli debreceni webshopnál és számoljunk kerekített, 320 Ft-os dollárárfolyammal (szeptember 21-én egy dollár nagyjából 317 Ft volt). A tokenköltséghez egy olcsóbb modell listaárát vesszük alapul, a Meta Muse Spark 1.3 millió tokenenként 1,25 dolláros bemeneti és 4,25 dolláros kimeneti árát. Feltételezzük, hogy egy levél megírása 2 000 bemeneti és 400 kimeneti tokent, a második modell általi utólagos átnézése 3 000 bemeneti és 200 kimeneti tokent igényel. Az emberi munkánál 5 000 Ft-os teljes óraköltséggel (bér és járulékok) számolunk, a jóváhagyásra 20 másodpercet, a módosításra 2 percet, az elutasított levél kézi megválaszolására 5 percet szánva. Ezek mind feltételezések, a saját számaiddal érdemes újraszámolni.

Összehasonlításként, ha a kollégák maguk írnák meg mind az 1 200 levelet levelenként 5 perc alatt, az 100 munkaóra, vagyis 500 000 Ft lenne havonta. A különbség papíron havi nagyjából 420 000 Ft, ebből azonban le kell vonni a bevezetés és a karbantartás költségét, az első hónapok lassabb tempóját és az esetleges hibák kárát is. A táblázat legfontosabb üzenete mégsem a megtakarítás, hanem az arány: a gépi felügyelet tokenköltsége elhanyagolható, a valódi költség az emberi figyelem. Ezért éri meg a figyelmet a kivételekre koncentrálni: ha a rendelésállapot-kérdéseknél mintavételre váltasz, a havi 13,5 óra tovább csökkenhet.

Az első 90 nap ütemterve

Az alábbi ütemterv az AI-ügynökök felügyeletének és mérésének mérföldköveire koncentrál, nem a technikai bevezetésre. Az Odoo, az n8n és az AI összekötésének sorrendje külön téma, itt azt nézzük meg, mikor és milyen számok alapján kaphat több önállóságot az első ügynököd.

1–30. nap: árnyékmód, majd teljes jóváhagyás

Az első két hét célja nem a megtakarítás, hanem a tanulás. Az ügynök ebben az időszakban csak javaslatokat készít, amelyeket a kolléga a saját munkájával vet össze. Ekkor derül ki, milyen típusú hibákat vét az ügynök, ezek alapján pedig még élesítés előtt finomíthatók az utasításai. A harmadik és a negyedik héten az ügynök javaslatai már élesben mennek ki, de minden egyes lépést ember hagy jóvá, a 30. nap végére így meglesz az első négy hét adatsora.

31–60. nap: lazítás ott, ahol a számok engedik

A második hónapban lépéstípusonként döntesz. Ahol a jóváhagyási arány elérte az előre rögzített küszöböt, ott az ügynök önállóan dolgozhat, a kolléga utólag csak egy mintát ellenőriz, például minden ötödik tételt. A visszafordíthatatlan lépések előtt a kapu változatlanul megmarad, a teljes tevékenységet pedig ettől kezdve egy második modell is átnézi utólag, amely csak a gyanús eseteket küldi tovább emberhez. Ha a mintában talált hibák aránya megugrik, azonnal lépj vissza a teljes jóváhagyásra.

61–90. nap: stabilizálás, riport és döntés

A harmadik hónapban egy egyoldalas havi riport készül a vezetésnek a hat mutatóval, a megtakarított órákkal, a költségekkel és a három leggyakoribb hibaokkal. Ilyenkor jöhetnek a csalitesztek is: hetente egy-két szándékosan hibás javaslat kerül a jóváhagyási sorba, a felelős pedig megnézi, fennakadnak-e. A 90. napon három döntés lehetséges: az ügynök marad a jelenlegi szinten, jöhet mellé egy második folyamat vagy leállítod. Ha a számok nem igazolják az ügynököt, a leállítás is jó döntés, hiszen egy negyedévnyi tanulópénz jellemzően olcsóbb egy évnyi rosszul működő automatizálásnál.

Milyen hibákat követnek el a cégek az első ügynöknél?

A leggyakoribb hibák nem technikaiak, hanem szervezésiek: a jóváhagyás gépiessé válik, senki nem felel a számokért, az ügynök a saját munkáját ellenőrzi, a lazítás pedig mérés helyett megérzés alapján történik. Ezek mindegyike megelőzhető, ha a felügyeletet az első naptól a folyamat részeként tervezed meg.

• Gumibélyegző-jóváhagyás. Ha a jóváhagyások medián ideje néhány másodperc, az ellenőrző valószínűleg már nem olvassa el a tervezeteket, ilyenkor a magas jóváhagyási arány hamis biztonságérzetet ad. A csalitesztek éppen ezt szűrik ki.
• Csak a blokkolt esetekre figyelnek. A csendes hiba, amikor egy lépés valójában sikertelen, a napló szerint mégis rendben lefutott, a legveszélyesebb, ezért a hibaállapotokat kifejezetten naplózni kell.
• Az ügynök saját magát ellenőrzi. Ugyanaz a modell ugyanazzal az utasítással ritkán veszi észre a saját hibáját, ezért a gépi monitor legyen egy másik modell más utasítással vagy egy szabályalapú ellenőrzés.
• Túl sok ügynök túl korán. Három félkész ügynök háromszor annyi felügyeleti munkát jelent, mint egy jól beállított, miközben egyikről sem lesz elég adat a megalapozott döntéshez.
• Nincs vészfék. A felelősnek tudnia kell, hogyan állíthatja le egy perc alatt az ügynököt és hogyan vonhatja vissza a hozzáféréseit, ha valami félremegy.

Miben segít a Convergo?

A Convergo abban segít, hogy az első AI-ügynököd ne kísérleti játékszer, hanem mérhetően és felügyelten dolgozó munkatárs legyen. AI-felmérés, stratégia és oktatás szolgáltatásunk keretében közösen kiválasztjuk azt az egy folyamatot, ahol az ügynök a legtöbbet hozhatja, majd rögzítjük a mérőszámokat és a küszöböket. A workflow automatizáció során n8n-folyamatokba építjük a naplózást, a háromgombos jóváhagyást és a visszafordíthatatlan lépések előtti kaput, az Odoo ERP és integrációk területén pedig gondoskodunk róla, hogy az ügynök saját, korlátozott jogú fiókkal dolgozzon. Az első lépés egy ingyenes egyeztetés, ahol átnézzük, melyik folyamatodon induljon el az árnyékmód.