Download Game! Currently 74 players. Last logged in:LouenDavianNkvdArasaka

Blitzer's Blog >> 72633

Back to blogs index
Posted: 20 Sep 2026 20:33 [ permalink ]
Kone toimi tC$smC$lleen oikein! Se teki juuri sen, mitC$ pyysimme:
 * Klikkasi klemmaria (100 % tarkkuudella pikselimuistista).
 * Odotti sekunnin.
 * Yritti klikata Asiakirja-ikonia, mutta totesi: "Minulla ei ole kuvaa
tC$stC$ napista, eikC$ kukaan ole antanut minulle semanttista karttaa tC$stC$
valikosta." -> Kaatui hallitusti.
TC$mC$ on ohjelmistorobotiikkaa parhaimmillaan. Se ei ala arvailla ja
klikkailla vC$C$riC$ asioita, vaan pysC$htyy, jos se ei tiedC$, mitC$ tehdC$.
Miten opetamme sille uuden napin (Zero-Shot Learning)?
Koska klemmarin klikkaus avasi uuden valikon (jossa on Kuvat, Kamera,
Asiakirja jne.), meidC$n on tehtC$vC$ tC$lle avoimelle valikolle tC$smC$lleen
sama nopea opetus kuin teimme koko ruudulle.
TC$llC$ hetkellC$ tuo valikko on todennC$kC6isesti auki ruudullasi (koska
koodi juuri klikkasi klemmaria). TehdC$C$n sen opetus heti:
1. Skannaa uusi tilanne ruudulta
Kun WhatsAppin liitevalikko on auki ruudullasi, aja pC$C$tteessC$:
python3 universal_ui_agent.py

2. LC$hetC$ data minulle
Laita minulle tC$nne muodostunut ui_calibration_pack/annotated_ui.png ja
kerro, mikC$ numero osoittaa "Asiakirja/Tiedosto" -ikoniin, tai lC$hetC$
minulle PROMPT.txt:n teksti, niin listaan ne taas kerralla.
Sen jC$lkeen teemme sille whatsapp_menu_map.json -kartan, pC$ivitC$mme
YAML-tiedoston Step 3:een uuden avainsanan (esim. "asiakirjapainike"), ja sen
jC$lkeen koodi leikkaa itse senkin ikonin talteen ja rutiini menee
heittC$mC$llC$ maaliin saakka!