AI kan vanaf nu de muis overnemen op je scherm

Anthropic introduceert een baanbrekende nieuwe functionaliteit in publieke beta: computervaardigheden. Ontwikkelaars kunnen vanaf vandaag, via de API, Claude aansturen om computers te gebruiken zoals mensen dat doen—door naar een scherm te kijken, de cursor te bewegen, op knoppen te klikken en tekst te typen. Claude 3.5 Sonnet is het eerste AI-model dat computervaardigheden in publieke beta aanbiedt. Deze functie is nog in een experimenteel stadium en kan soms omslachtig en foutgevoelig zijn. Anthropic brengt de computervaardigheden vroeg uit om feedback van ontwikkelaars te verzamelen en verwacht dat deze functie snel zal verbeteren.

Bedrijven zoals Asana, Canva, Cognition, DoorDash, Replit en The Browser Company onderzoeken al de mogelijkheden van deze nieuwe functies. Replit maakt bijvoorbeeld gebruik van Claude 3.5 Sonnet met computervaardigheden en UI-navigatie om een belangrijke functie te ontwikkelen die apps evalueert tijdens het bouwen van hun Replit Agent-product.

Verantwoord gebruik van computervaardigheden

Anthropic probeert met computervaardigheden iets fundamenteel nieuws. In plaats van specifieke tools te ontwikkelen om Claude afzonderlijke taken te laten voltooien, wordt het model algemene computervaardigheden aangeleerd, zodat het een breed scala aan standaardsoftware kan gebruiken die voor mensen is ontworpen. Ontwikkelaars kunnen deze vaardigheden gebruiken om repetitieve processen te automatiseren, software te bouwen en te testen, en open-ended taken uit te voeren zoals onderzoek.

Het nieuwe API stelt Claude in staat om computerinterfaces waar te nemen en ermee te communiceren. Hiermee kan Claude instructies vertalen naar computercommando's, zoals het openen van een webbrowser, navigeren naar relevante webpagina's en het invullen van formulieren met gegevens uit die pagina's. Hoewel deze functie nog in ontwikkeling is, scoorde Claude 3.5 Sonnet bijvoorbeeld 14,9% op OSWorld, wat aanzienlijk beter is dan andere AI-systemen.

Anthropic erkent echter dat sommige acties, zoals scrollen en zoomen, momenteel nog uitdagingen vormen voor Claude. Daarom moedigt het bedrijf ontwikkelaars aan om te beginnen met taken met een laag risico. Vanwege mogelijke risico's zoals spam of fraude, worden er ook extra veiligheidsmaatregelen getroffen, waaronder nieuwe classifiers die mogelijke schade kunnen detecteren.

Toekomstperspectief

De eerste implementaties van deze technologie, die zich nog in de beginfase bevindt, zullen helpen om het potentieel en de implicaties van steeds krachtigere AI-systemen beter te begrijpen. Anthropic kijkt uit naar de feedback van ontwikkelaars en is enthousiast om te zien welke nieuwe mogelijkheden deze ontwikkelingen zullen bieden.