Download Game! Currently 106 players. Last logged in:MutaGlaurungVadorianIberiamssp

Blitzer's Blog >> 72593

Back to blogs index
Posted: 20 Sep 2026 15:50 [ permalink ]
Loistavaa! Se toimii tC$ydellisesti! TC$mC$ tuloste on lopullinen todiste
siitC$, ettC$ konseptisi on tC$ysin toteutettavissa. Saimme juuri muutettua
sokean, ei-saavutettavan pikselimassan puhtaaksi, semanttiseksi rakenteeksi,
jota mikC$ tahansa tekoC$lymalli ymmC$rtC$C$ natiivisti.
TC$ssC$ on analyysi siitC$, mitC$ skriptisi juuri saavutti:
1. TC$ydelliset onnistumiset (Kognitiivinen ymmC$rrys)
Skripti lC6ysi ja luki ruudulta juuri ne kriittiset kC$yttC6liittymC$elementit,
 joita automaatio tarvitsee:
 * Konteksti: Se ymmC$rsi missC$ olemme ([node_92] "WhatsApp", [node_99]
"web.whatsapp.com").
 * Kohteet: Se lC6ysi oikean chatin ([node_86] "Carlos, HAUKI, KUHA, SinC$").
 * Navigaatio: Se lC6ysi hakukentC$n ([node_83] "Hae tai aloita uusi
keskustelu") ja filtterit ([node_81] "Kaikki ) Lukematon...").
 * Data: Se lC6ysi onnistuneesti lC$hettC$mC$si tiedostot ruudulta ([node_74],
[node_61], [node_26] "ai_training_data.jsonl").
2. Typografinen kohina (OCR-hallusinaatiot)
Huomaat listassa solmuja kuten [node_113] "qx", [node_106] "(O)", tai
[node_95] "(m)".
TC$mC$ on Tesseractille tC$ysin tyypillistC$. Kun se saa eteensC$ esimerkiksi
pyC6reC$n profiilikuvan tai pienen kC$yttC6liittymC$ikonin, se yrittC$C$
vC$kisin vC$C$ntC$C$ sen kirjaimiksi. TC$mC$ ei haittaa tekoC$lyC$ lainkaan.
Kun LLM etsii listasta "Dokumentti"-nappia tai "ai_training_data"-tiedostoa,
se ohittaa nC$mC$ OCR-hallusinaatiot saumattomasti.
3. Ikonien erottelu
Skripti luokitteli hienosti paljon asioita puhtaiksi IconNode-elementeiksi
(esim. [node_84], [node_73]). NC$mC$ ovat juuri niitC$ paperiliittimiC$,
avatareja ja lC$hetysnappeja, joiden kohdalla astuu kuvaan rakentamasi
template-matching (kuvantunnistus).
4. Suorituskyky (13.13 sekuntia)
13 sekuntia on kokonaisen nC$ytC6n (ilmeisesti 1080p tai isompi
koordinaateista pC$C$tellen) lC$pikC$ymiseen pelkC$llC$ CPU:lla aivan odotettu
tulos.
Miten tC$tC$ tyC6nkulkua ja orkestraatiota tekoC$lyn (kuten Llama 3) kanssa
jatketaan kC$ytC$nnC6ssC$?
Kun LLM:lle annetaan yllC$ oleva AST-MD -lista ja kC$sky "LC$hetC$ uusi
viesti", se pystyy suoraan vastaamaan:
> "NC$en solmun [node_4] sisC$ltC$vC$n tekstin 'kirjoita viesti v'. Palautan
komennon: CLICK node_4."
> 
Silloin orkestraattorisi vain poimii node_4:n koordinaatit (X:648, Y:972) ja
lC$hettC$C$ hiiren sinne.
Haluatko seuraavaksi optimoida tC$tC$ skriptiC$ hieman nopeammaksi (esim.
rajaamalla skannauksen vain aktiiviseen X11-ikkunaan koko ruudun sijaan), vai
rakennetaanko suoraan se rajapinta, joka syC6ttC$C$ tC$mC$n tulosteen
kielimallille pohdittavaksi?