Dit artikel is met AI voorbereid op basis van de bronnen hieronder. Raadpleeg die bronnen voor de oorspronkelijke context.
Vertaald uit het Engelse artikel. De oorspronkelijke publicatiedatum is behouden.
Microsoft Research heeft werk gepubliceerd over TokenEconomizer, een opensource-plugin die is ontwikkeld met UC Berkeley en Microsoft Security. Volgens de onderzoeksblog leert de plugin van eerdere sessies van een agent in een repository en gebruikt die ervaring om verspilling in latere sessies te verminderen, zonder de agent of het onderliggende model te wijzigen. Het team meldt dat over 277 echte bugfix-taken de kosten met 18,4–30,9% daalden bij verschillende combinaties van agents en modellen, terwijl de slagingspercentages van de taken breed genomen stabiel bleven.
Waarom dit relevant is voor een kleiner bedrijf
Kleine en middelgrote teams hebben zelden een apart platformteam dat in de gaten houdt hoeveel tokens AI-codeeragents verbruiken. Als je ontwikkelaars herhaaldelijk in dezelfde paar codebases werken, is de premisse van de bron direct relevant: een agent die elke sessie vanaf nul begint, kan dezelfde feiten opnieuw ontdekken en mislukte benaderingen herhalen. De gemelde besparingen zijn onderzoeksresultaten op benchmarktaken, geen belofte voor jouw omgeving, dus zie ze als een reden om je eigen gebruik te bekijken, niet als een voorspelling.
Vragen die het waard zijn te stellen voordat je het probeert
- Keren je ontwikkelaars vaak genoeg terug naar dezelfde repositories zodat opgebouwde ervaring ertoe doet, of gebeurt het meeste werk in eenmalige codebases?
- Wie zou de notities van één regel beoordelen die de plugin voorstelt, en wat zou gelden als voldoende bewijs voordat een notitie wordt vertrouwd?
- Welke tools laadt je agent maar roept hij nooit aan, en zou het weghalen daarvan botsen met incidentele workflows?
- Wanneer de plugin een vastgelopen agent signaleert, wie in je team reageert dan, en hoe snel?
- Kun je de kosten per taak meten voor en na invoering op een kleine set representatieve taken?
Hoe de plugin wordt beschreven
De bron zegt dat TokenEconomizer het logboek van elke sessie leest en bijwerkt wat hij over de repository weet. Het werkt via drie mechanismen: micro-skills, korte notities die pas worden toegevoegd nadat meerdere sessies een patroon bevestigen en die worden ingetrokken als later bewijs ze tegenspreekt; tool pruning, waarbij tools worden verwijderd waarvan de geschiedenis suggereert dat ze waarschijnlijk niet worden gebruikt, terwijl kerntools voor het uitvoeren van commando's en het bewerken van bestanden behouden blijven; en ingrijpen bij faallussen, waarbij een beoordelingsmodel besluit of de agent vastzit en, zo ja, een korte notitie aanbiedt met een andere benadering. In de opensource-plugin wordt, als de agent vast blijft zitten, de ontwikkelaar gewaarschuwd in plaats van dat het werk wordt stopgezet.
De bron stelt dat de gemelde besparingen de kosten van de eigen modelaanroepen van de plugin meerekenen, en dat de controller zo is ontworpen dat hij zijn beslissingen herziet naarmate er nieuw bewijs binnenkomt. De bron merkt ook op dat vroege taken meer kunnen kosten terwijl de plugin leert, waarbij de cumulatieve kosten in elke repository tegen de zesde taak onder de standaardwaarde zakken.
Voorwaardelijk advies
Als het agentwerk van je team geconcentreerd is in een handvol langdurig bestaande repositories, kan een korte pilot op een paar terugkerende taken een verstandige manier zijn om te zien of het gemelde patroon ook voor jou geldt. Als je werk vooral greenfield is of verspreid over veel kortstondige projecten, is het argument minder duidelijk, en kun je beter wachten op bewijs dat dichter bij jouw situatie ligt. Houd in beide gevallen een menselijke eigenaar voor de notities en waarschuwingen die de plugin produceert, en bepaal vooraf welk niveau van kostenverandering de extra beoordelingslast zou rechtvaardigen.
Bedenk ten slotte dat dit de door de onderzoekers gemelde resultaten op benchmarktaken zijn. Je eigen metingen, niet het gepubliceerde bereik, zouden de basis moeten vormen voor elke beslissing om het over te nemen.
Bronnen
- TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient ↗ · Microsoft Research
