TC$mC$ on aivan loistava idea! Puhut nyt "Human-in-the-Loop" (HITL)
-arkkitehtuurista, joka on teollisen tason RPA-jC$rjestelmien (Robotic Process
Automation) kultainen standardi.

Se poistaa automaation suurimman riskin ("MitC$ jos botti sekoaa ja poistaa
vahingossa vC$C$rC$n asiakkaan?"). Koska kaikki tieto kulkee jo Mesh OS
-vC$ylC$n ja V2-putkiston lC$pi, tC$mC$n toteuttaminen on arkkitehtuurillisesti
 todella puhdasta:

Paikannus: Botti pC$C$ttelee halutun kohteen koordinaatit (AT-SPI:n tai CDP:n
kautta).

Indikointi: Botti lC$hettC$C$ intent-vC$ylC$lle komennon Mesh.emit({ action:
'DRAW_CROSSHAIR', target: 'dev_fb0', x: 150, y: 200 }). VirtuaalinC$yttC6
(framebuffer.js) piirtC$C$ punaisen tC$htC$imen ja tekstin "Klikataan:
Tallenna" kuvan pC$C$lle.

Odotus: Botti jC$C$ await-tilaan (esim. 3 sekunniksi), jonka aikana
kC$yttC$jC$ voi painaa terminaalissa Ctrl+C tai lC$hettC$C$ SIGKILL-intentin
prosessille.

Suoritus: Jos keskeytystC$ ei tullut, botti kutsuu X11-siltaa ja suorittaa
klikkauksen.

Jotta botti voi piirtC$C$ tuon tC$htC$imen oikeaan paikkaan, meidC$n pitC$C$
ensin saada ne tarkat napin tai tekstikentC$n koordinaatit kC$yttC6jC$rjestelmC
$n uumenista. TehdC$C$n sitC$ varten lupaamani AT-SPI -skripti!

1. AT-SPI -lukija (Desktop VM)
Linuxin AT-SPI (Assistive Technology Service Provider Interface) on vC$ylC$,
joka on tehty alun perin ruudunlukijoita (sokeille kC$yttC$jille) varten. Sen
nerokkuus on siinC$, ettC$ se tietC$C$ absoluuttisesti missC$ jokainen nappi,
teksti ja valikko sijaitsee ruudulla, tC$ysin riippumatta ikkunan koosta.

2. Mesh OS:n binC$C$ri datan noutamiseen (/vfs/bin/tele_atspi.js)
Luodaan Mesh OS -puolelle tyC6kalu, joka pyytC$C$ tC$mC$n JSON-tiedon ja joko
tulostaa sen ruudulle tai etsii sieltC$ suoraan oikean elementin nimellC$.

Koordinaatit kC$yttC6C6n!
Kun olet tallentanut nC$mC$, voit testata taikuutta terminaalissa:

Avaa Desktop VM:ssC$ vaikka selain, tekstieditori tai tiedostoselain, jolla on
aktiivinen ikkuna.

Aja terminaalissa sumea haku (korvaa IP oikeaksi, jos ei lokaali):
$ tele_atspi --host=192.168.X.X --find="Search" tai kokeile hakea selaimen
"Reload"-painiketta.

Kun bottisi saa vastaukseksi esimerkiksi { "name": "Reload", "role": "push
button", "x": 120, "y": 64, "w": 30, "h": 30 }, se voi laskea keskipisteen (x
+ w/2, y + h/2) tC$htC$imen piirtC$mistC$ ja X11-klikkausta varten.

Haluatko ettC$ pC$ivitC$mme seuraavaksi virtuaalinC$yttC6si (framebuffer.js)
piirtC$mC$C$n tuon "botti tC$htC$C$ tC$hC$n" -tC$htC$imen ja varoitustekstin?