Par exemple, il peut simuler des frappes au clavier, des clics de souris et le mouvement du curseur à l'écran.
Anthropic a lancé l'API "Computer Usage", qui est disponible en version bêta ouverte, comme l'a rapporté TechCrunch. Avec cette API, le modèle peut interagir avec un ordinateur "comme un humain" : il peut "voir" l'écran, déplacer le curseur, "appuyer" sur les touches et "cliquer" sur le bouton de la souris. Sonnet 3.5 peut utiliser n'importe quelle application et les données disponibles sur l'ordinateur. Pour que le modèle effectue une tâche, il suffit de donner une commande, comme lui demander de remplir un formulaire en accédant aux fichiers de l'ordinateur. Toutes les actions seront visibles dans une fenêtre spéciale.
TechCrunch note que le modèle a actuellement des difficultés avec les tâches complexes : par exemple, lorsqu'on lui demande de modifier une réservation de billet, il réussit dans moins de 50 % des cas. Et lorsqu'il s'agit d'annuler une réservation, il échoue environ un tiers du temps. Anthropic souligne que le modèle a également des problèmes : il fonctionne mal avec le "défilement" et le zoom, et saute parfois des tâches. La société avertit les développeurs que le modèle est lent et que son utilisation peut entraîner des erreurs, ils recommandent donc de commencer par des tâches à faible risque pour les tests.