Download Game! Currently 135 players. Last logged in:FonkensembleLikuCroesusRammon

Blitzer's Blog >> 72615

Back to blogs index
Posted: 20 Sep 2026 18:03 [ permalink ]
TC$mC$ on tC$ydellinen kysymys, sillC$ siirtyminen jatkuvasta
LLM-pC$C$ttelystC$ (kallis ja hidas) paikalliseen, vC$limuistitettuun
suoritukseen (nopea ja ilmainen) on kypsemmC$n agenttiarkkitehtuurin ydin.
Koska kC$ytC6ssC$si on jo paikallisia mikropalveluita (kuten visio- ja
API-rajapintojasi), paras tapa ratkaista tC$mC$ on rakentaa Cascading Selector
(Putoava valitsin) -malli, joka tallennetaan paikalliseen rutiinirekisteriin
(Routine Registry).
Ideana on, ettC$ Frontier AI:ta kC$ytetC$C$n vain opettajana. Kun se kerran
lC6ytC$C$ oikean napin, paikallinen jC$rjestelmC$ tallentaa tuon lC6ydC6ksen
"sormenjC$ljen" kolmelle eri abstraktiotasolle.
Miten sormenjC$lki tallennetaan?
Kun LLM kerran pC$C$ttelee, ettC$ klemmari lC6ytyy tekstikentC$n vierestC$,
orkestraattorisi luo tai pC$ivittC$C$ paikallisen YAML/JSON-rutiinin tC$hC$n
muotoon:
routine_name: "whatsapp_send_file"
step: 1
action: "click"
description: "Klikkaa liite-ikonia (klemmari) chatin alareunassa."

# Kaskadoituva valitsin (Ajetaan jC$rjestyksessC$ nopeimmasta hitaimpaan)
selectors:
  # 1. PIKSELI-TASO (0.01 sekuntia)
  # Kun LLM lC6ysi ikonin, jC$rjestelmC$ otti siitC$ automaattisesti 40x40px
kuvan talteen.
  - type: "template_match"
    file: "/tmp/bot_templates/whatsapp_attach_btn.png"
    threshold: 0.9

  # 2. SEMANTTINEN TASO (0.5 sekuntia - paikallinen koodi)
  # Jos WhatsAppin teema vaihtui ja kuva ei tC$smC$C$, etsitC$C$n lokaalisti
AST-kartasta.
  - type: "semantic_anchor"
    anchor_text: "kirjoita viesti"
    target: "a paperclip icon"
    max_distance_px: 150

  # 3. KOGNITIIVINEN TASO (5-10 sekuntia - Frontier AI)
  # Jos WhatsAppin koko layout uudistui radikaalisti, eskaloidaan.
  - type: "escalation"
    policy: "frontier_ai_recovery"
    prompt: "UI on muuttunut. Etsi uusi tapa lisC$tC$ liitetiedosto oheisesta
AST-kartasta."

Miten suoritus (Execution) toimii kC$ytC$nnC6ssC$?
Kun ajat automaatiota seuraavana pC$ivC$nC$, prosessi on tC$ysin itsenC$inen:
 * Nopein reitti (Template Match): Paikallinen X11-Vision-API yrittC$C$
lC6ytC$C$ aiemmin tallennetun /tmp/bot_templates/whatsapp_attach_btn.png
-kuvan ruudulta. Jos se lC6ytyy, klikkaus tapahtuu millisekunneissa. LLM:C$C$
ei herC$tetC$.
 * Keskinopea reitti (Local AST & CLIP): Jos WhatsApp on pC$ivittC$nyt
ikoninsa hieman eri nC$kC6iseksi (pikselit eivC$t tC$smC$C$), jC$rjestelmC$
ajaa tuon tekemC$si master_parser.py:n. Se etsii ruudulta tekstin "kirjoita
viesti", rajaa haun sen viereen ja kysyy paikalliselta CLIP-mallilta: "MikC$
nC$istC$ on paperiliitin?" Osuma lC6ytyy, klikkaus tapahtuu, ja jC$rjestelmC$
pC$ivittC$C$ automaattisesti uuden ikonin kuvan tuohon whatsapp_attach_btn.png
-tiedostoon tulevaisuutta varten (Self-Healing).
 * Eskalaatio (Frontier AI): Vain silloin, jos WhatsApp poistaa koko "kirjoita
viesti" -tekstin tai muuttaa chatin rakenteen tC$ysin, paikallinen
rutiinimoottorisi nostaa kC$tensC$ pystyyn ja lC$hettC$C$ uusimman AST-kartan
raskaalle Frontier AI:lle tai sinulle korjattavaksi.
TC$llC$ arkkitehtuurilla hyC6dynnC$t vektoripohjaista rekisteriC$si
maksimaalisesti: rutiinit pysyvC$t kevyinC$ ja nopeutuvat kC$ytC6n myC6tC$,
koska ne luottavat vahvasti ensisijaisesti vC$limuistitettuihin malleihin.
Haluatko, ettC$ pC$ivitC$mme aiemmin koodatun routine_engine.py -moottorin
tukemaan tC$llaista kaskadoituvaa valitsin-logiikkaa? Se niputtaisi koko
tC$hC$nastisen tyC6n yhteen.