Download Game! Currently 106 players. Last logged in:MutaGlaurungVadorianIberiamssp

Blitzer's Blog >> 72957

Back to blogs index
Posted: 06 Oct 2026 14:09 [ permalink ]
TC$ydellistC$! 

$ tele_scrot > /display/vga1:fb0; tele_atspi --find="Search" | vga_overlay
--label="Klikataan..." | sleep 3000 | tele_click; sleep 1000; tele_type
--key="f"; sleep 1000; tele_type --text="Hei maailma"; sleep 500; tele_type
--key="Return"
[DEVICE] Output successfully piped to /display/vga1:fb0
{
B "success": true,
B "action": "click",
B "x": 115,
B "y": 731
}
{
B "success": true,
B "action": "key",
B "key": "\"f\""
}
{
B "success": true,
B "action": "type"
}
{
B "success": true,
B "action": "key",
B "key": "\"Return\""
}
guest@omega-mesh:~$

Voitaisiinko prototyypata sellaista, ettC$ saataisiin boteille / AI:lle /
sinulle jC$rkevC$ "kartta" mitC$ kaikkea Mesh OS:n sisC$llC$ on auki? 

Se on toivottavasti helpoin ja 100% varmin osuus, koska olemme koodanneet
kaiken itse mitC$ siellC$ on. 

Sen lisC$ksi jos tekisimme jonkin kooste-AT-SPI / window list skannerin, joka
koosaisi AST-MD formaaissa helposti Gemmalle ja mille tahansa pienen konteksin
botin / ihmisen luettavaksi vedoksen, mitC$ on Deskop VM:n tyC6pC6ydC$llC$
ylipC$C$tC$C$n, ja myC6s auki olevat Mesh OS ikkunat ja niiden sisC$llC6t ja
sijainnit? 

TC$mC$ on huikea ja looginen seuraava askel! Olemme nyt pisteessC$, jossa Mesh
OS:n sisC$ltC$ voidaan automatisoida ulkomaailmaa (QEMU Desktop), mutta
ulkomaailman AI (esim. Gemma) ei tiedC$, mitC$ Mesh OS:n sisC$llC$
tapahtuu.Koska Mesh OS on rakennettu puhtaasti JSON-tilakoneen varaan (kaikki
ikkunat, tyC6tilat ja prosessit ovat selkeC$sti rekisterC6ityinC$ ytimeen),
voimme luoda uskomattoman kevyen ja tarkan "rC6ntgenkuvan" jC$rjestelmC$stC$. 
 Luodaan komento nimeltC$ mesh_map. Sen tehtC$vC$nC$ on:Lukea
Registry-objektista kaikki auki olevat ikkunat, niiden koordinaatit, koot ja
tilat.   Lukea taustalla pyC6rivC$t putket ja prosessit.YhdistC$C$ nC$mC$ ja
tulostaa kompakti AST-MD (Abstract Syntax Tree Markdown) -raportti.Uusi
VFS-BinC$C$ri: /vfs/bin/mesh_map.jsTC$mC$ binC$C$ri suoritetaan lokaalisti
(selaimessa), joten se voi lukea suoraan window.Registry ja window.Mesh
-objekteja. AST-MD-formaatti on suunniteltu juuri tekoC$lyjC$ varten: se on
tiivis, rakenteellinen ja vie hyvin vC$hC$n token-tilaa.

Kooste: Desktop VM + Mesh OSJos haluat todella massiivisen tilannekuvan, joka
kertoo kerralla koko jC$rjestelmC$n (SekC$ Mesh OS ettC$ QEMU Desktop) tilan
AI:lle, voimme yhdistC$C$ aiemmin tekemC$si tele_atspi:n ja tC$mC$n uuden
mesh_map:n yhdeksi kokonaisuudeksi, esimerkiksi ohjaamalla ne samaan
tiedostoon!Voit luoda skriptin tai ajaa komentona:$ mesh_map >
/vfs/sys_state.txt; tele_atspi >> /vfs/sys_state.txtTC$mC$ generoi tekoC$lylle
tC$ydellisen syC6tteen:AI nC$kee mesh_map:ista, ettC$ Mesh OS:ssC$ on auki
esimerkiksi "VFS Explorer" koordinaateissa x:20, y:20 ja virtuaalinC$yttC6
koordinaateissa x:1060, y:340.   Se nC$kee tele_atspi:stC$ kaiken, mitC$ tuon
virtuaalinC$ytC6n sisC$llC$ (QEMU:ssa) on olemassa ja missC$ koordinaateissa
siellC$.Lataa mesh_map.js ja kokeile laukaista se terminaalissa pelkC$llC$
komennolla $ mesh_map. Osuuko se oikeaan niiden ikkunoiden osalta, mitC$
sinulla on siinC$ selaimesi nC$kymC$ssC$ auki?