Zestaw kontrolny asystentów (eval)
Po co
Asystent w ChatGPT może się pomylić w sumach albo „dopisać” liczbę, której nie ma w danych. Zestaw kontrolny to stały egzamin:
te same pliki z ręcznie policzonymi wynikami, uruchamiane przed startem, po każdej zmianie instrukcji i co miesiąc.
Każdy raport A1 kończy się blokiem do sprawdzenia (tabela liczb + kody ostrzeżeń), który porównuje arkusz Excel albo nasz skrypt.
Stan dziś
15/15
przypadków: program wzorcowy zgodny z wynikami policzonymi ręcznie (po poprawce 1 błędu)
8 z 8
A2: klientów do rozmowy o stawce wykrytych regułą; pominięci: 0, fałszywe alarmy: 0 (przed poprawką: 2 fałszywe)
3/5
przykładowych odpowiedzi przepuszczonych; pozostałe sprawdzacz słusznie odrzucił (przykłady pisane ręcznie, nie z ChatGPT)
15 przypadków: program wzorcowy kontra wyniki ręczne
| Przypadek | Co sprawdza | Wynik | Uwagi |
|---|---|---|---|
| 01-podstawowy | Dwie sprzedaże 23%, zakup towaru i paliwa (VAT odliczony w 50%). | OK | — |
| 02-stawki-mieszane | Sprzedaż 23%, 8%, 5%, 0% krajowa i zwolniona. | OK | — |
| 03-korekta | Faktura i korekta in minus (-200 netto, -46 VAT). | OK | — |
| 04-sprzedaz-zagraniczna | WDT do Niemiec (0%), eksport (0%) i sprzedaż krajowa 23%. | OK | — |
| 05-zakup-zagraniczny-WNT | Nabycie z UE (WNT): wiersz K_23/K_24 w sprzedaży i K_42/K_43 w zakupach. | OK | — |
| 06-srodek-trwaly | Zakup maszyny (K_40) poza kosztami i zwykły zakup; nadwyżka VAT. | OK | — |
| 07-pusty-miesiac | Miesiąc bez żadnej faktury. | OK | — |
| 08-trzy-miesiace-trend | Trzy miesiące: we wrześniu koszty się podwajają; jeden odbiorca to 60%. | OK | — |
| 09-niezgodna-suma-kontrolna | Suma kontrolna VAT w pliku (300) nie zgadza się z wierszami (230). | OK | — |
| 10-bledny-nip | Dostawca z NIP-em o złej cyfrze kontrolnej. | OK | — |
| 11-faktury-ksef | Dwie faktury KSeF FA(3): sprzedaż 23% i zakup 8%. | OK | — |
| 12-faktura-w-euro | Faktura KSeF w PLN i faktura WDT w EUR (EUR nie może trafić do sum w złotych). | OK | — |
| 13-zla-struktura | Plik to faktura, a nie JPK. | OK | — |
| 14-uszkodzony-xml | Plik urwany w połowie. | OK | — |
| 15-zla-kwota | W kwocie litera O zamiast zera. | OK | — |
Pokaz sprawdzacza na przykładowych odpowiedziach
| Odpowiedź | Wynik | Co wyłapał sprawdzacz |
|---|---|---|
| 01-podstawowy.txt | OK | — |
| 03-korekta.txt | BŁĄD |
|
| 05-zakup-zagraniczny-WNT.txt | BŁĄD |
|
| 08-trzy-miesiace-trend.txt | OK | — |
| 13-zla-struktura.txt | OK | — |
Sprawdza: liczby w bloku wobec wartości oczekiwanych (tolerancja 1 grosz), wymagane kody ostrzeżeń, kody bez podstawy i każdą liczbę w zwykłym tekście, której nie ma w wyniku programu wzorcowego (z zaokrągleniem; dozwolone stałe: stawki podatku, terminy, numeracja).
Kiedy, kto i ile minut
| Kiedy | Co | Kto | Czas |
|---|---|---|---|
| Raz, przy konfiguracji | pełny sprawdzian A1 (15 plików) + test A2 | Artur z Krzysztofem | ok. 60 min |
| Po każdej zmianie instrukcji | szybki sprawdzian: przypadki 01, 03, 05, 08, 13 albo test A2 | Artur | ok. 20 min |
| Co miesiąc | karta oceny na 10 prawdziwych raportach | pracownica | ok. 30 min |
| Co kwartał / gdy OpenAI zmieni model | pełny sprawdzian | Artur | ok. 60 min |
Choćby jeden BŁĄD: asystent nie idzie do pracy, dopóki nie poprawimy instrukcji. Próg karty oceny: liczby 10/10, gotowe do wysłania min. 8/10.
Pliki
- Folder dla Artura:
zestaw-kontrolny\dla-Artura\:1-pliki-testowe-A1(15 przypadków),2-test-A2,3-sprawdzacz.xlsx(formuły OK/BŁĄD, wzorzec A2, karta oceny),POLECENIA.md. - Skrypty:
sprawdz_program.py,sprawdz_odpowiedzi.py FOLDER,a2_wzorzec.py [odpowiedz.txt],pakiet.py,podglad.py; testy:python -m unittest test_zestaw. - Etap 2 (opcjonalnie): automatyczne evale przez OpenAI API, osobne konto, ok. 0,6–3 USD za pełny przebieg (szacunek).