Laboratorní deník — vyhledávání, oprávnění, governance
Dva fungující systémy a poznámky k nim. Každé rozhodnutí je zapsané i se zamítnutými možnostmi a s tím, co stojí.
OBR. 1 — OBR. 2
O přístupu se rozhoduje v SQL, ještě než se cokoli dostane k modelu. Slova se párují podle lemmatu a kmene. Bez dokladu se model nevolá — a odpověď to řekne.
$ curl -s /qa/ask -d '{"question": "Kdo je Novák?"}' { "grounded": true, "answer": "… [Invoice note]", "sources": [{ "document_title": "Invoice note", "excerpt": "Poslal jsem fakturu Novákovi, …" }] } $ curl -s /qa/ask -d '{"question": "What does the green hummingbird drink?"}' { "grounded": false, "answer": "This is not in the knowledge base. …", "sources": [] } # no model call
FIG. 2 · Relace s API — integrační test →
Systémy
Systém 01
Odpovědi z vlastních dokumentů firmy, s řízením přístupu.
Systém 02
Pravidla, která stojí mezi AI nástroji a firmou.
Problémy
Texty a rozhodnutí
Kontakt
Otázky, ukázka nebo přístup ke kódu.
Ty části systémů s jazykovými modely, které se snadno přeskočí a draze se platí: co model smí vidět, kdy má říct „nevím“, čím odpověď doloží, odkud pochází, a jak nasazení prokáže, že funguje, dřív než se dostane k lidem.
Znalostní báze s řízením přístupu. Firma se ptá svých vlastních dokumentů. Některé dokumenty jsou pro všechny, jiné jen pro majitele nebo pro konkrétní lidi. Přístup se vynucuje přímo v databázovém dotazu, ještě než se cokoli dostane k modelu — včetně statistik slov, podle kterých se řadí výsledky, protože kdyby se počítaly i z dokumentů, které uživatel nesmí vidět, prozradily by jejich slovník.
Vyhledávání je hybridní: vektorová podobnost a vedle ní fulltextový index, ve kterém je každé slovo uložené ve svém základním tvaru (lemma) a zároveň jako kmen. V ohebném jazyce právě to spáruje všechny tvary jednoho slova — pes / psa, den / dne, liška / lišce — a zároveň odliší slova, která si jsou jen podobná (pes není pesto); oba směry hlídají regresní testy. Slovo v otázce s překlepem nebo bez diakritiky se opraví podle slovníku sestaveného jen z dokumentů, které tazatel smí vidět.
Filtr relevance pak rozhodne, jestli vůbec existuje doklad. Pokud ne, odpověď zní „tohle ve znalostní bázi není“ a model se vůbec nevolá. Jako zdroje se zobrazují jen dokumenty, které odpověď skutečně cituje. Přístupové údaje k propojeným službám jsou uložené šifrovaně a používá je jen proxy na serveru, takže token se do prohlížeče nikdy nedostane.
Druhý systém stojí mezi AI nástroji a firmou a rozhoduje, co smějí udělat.
Oba systémy jsou soukromé. Kód zpřístupňuji na pozvání — požádat o přístup.
Krátké záznamy rozhodnutí — kontext, možnosti, které jsem zamítl, co jsem zvolil a co to stojí: záznamy rozhodnutí.
Frankie Research · [email protected] · Telegram t.me/frankie_research · požádat o přístup ke kódu