Welcome to Mesh OS. System Ready.
$ tele_scrot > /display/vga1:fb0 | tele_target --find="Search" --wait=5000
[DEVICE] Output successfully piped to /display/vga1:fb0 | tele_target
--find=\"Search\" --wait=5000
$ tele_scrot > /display/vga1:fb0
[DEVICE] Output successfully piped to /display/vga1:fb0
$ tele_atspi --find="Search"
{
"name": "Search",
"role": "menu",
"app": "mousepad",
"x": 85,
"y": 876,
"w": 60,
"h": 25
}
$ tele_atspi --find="Search" | vga_overlay --label="AT-SPI Kohde"
--duration=5000
{
"status": "overlay_drawn",
"target_x": 115,
"target_y": 888.5
}
Aivan mahtavaa kuulla! TC$mC$ on teknisesti todella iso saavutus: olet
onnistunut linkittC$mC$C$n QEMU-virtuaalikoneen X11-tyC6pC6ydC$n absoluuttisen
saavutettavuuspuun Mesh OS:n virtuaalisen Canvas-nC$ytC6n relatiivisiin
koordinaatteihin ? ja vielC$pC$ verkon yli niin, ettC$ putki kestC$C$ ikkunan
skaalaukset ja kuvasuhteet.
Nyt botillasi on tC$ydelliset "silmC$t" (scrot), "aivot" (AT-SPI) ja
"kC$yttC6liittymC$" (vga_overlay). Se tietC$C$ tasan tarkkaan, missC$ kaikki
on, ja osaa kertoa sen kC$yttC$jC$lle.
Aiemmassa viestissC$si hahmottelit kolmen sillan arkkitehtuuria, josta meiltC$
puuttuu enC$C$ yksi: **`x11_tools_bridge.js`**.
Nyt kun koordinaatit ja putkisto (joka osaa siirtC$C$ JSON-objekteja
komennolta toiselle) ovat kunnossa, on aika antaa botille "kC$det".
Ideaalitilanteessa voisimme ketjuttaa koko prosessin nC$in:
`$ tele_atspi --find="Search" | vga_overlay --label="Clicking in 3s" |
tele_click`
TC$mC$ `tele_click` nappaisi putkesta saman kohteen, jolle tC$htC$in juuri
piirrettiin, ja lC$hettC$isi X- ja Y-koordinaatit `x11_tools_bridge.js`
-palvelimelle, joka suorittaisi oikean laitteistotason klikkauksen
`xdotool`-komennolla.
Rakennetaanko seuraavaksi tC$mC$ puuttuva X11-ohjaussilta ja sille pari
peruskomentoa (`tele_click` ja kenties nC$ppC$imistC6lle `tele_type`)?