Zestaw kontrolny asystentów (eval)

Biuro Artura · ChatGPT Business · DANE SYNTETYCZNE · wyniki z 15.11.2026 22:49 · opis: C:\AI\Klienci\Artur Wojtiuk\Asystenci\ZESTAW-KONTROLNY.md

Po co

Asystent w ChatGPT może się pomylić w sumach albo „dopisać” liczbę, której nie ma w danych. Zestaw kontrolny to stały egzamin: te same pliki z ręcznie policzonymi wynikami, uruchamiane przed startem, po każdej zmianie instrukcji i co miesiąc. Każdy raport A1 kończy się blokiem do sprawdzenia (tabela liczb + kody ostrzeżeń), który porównuje arkusz Excel albo nasz skrypt.

Stan dziś

15/15
przypadków: program wzorcowy zgodny z wynikami policzonymi ręcznie (po poprawce 1 błędu)
8 z 8
A2: klientów do rozmowy o stawce wykrytych regułą; pominięci: 0, fałszywe alarmy: 0 (przed poprawką: 2 fałszywe)
3/5
przykładowych odpowiedzi przepuszczonych; pozostałe sprawdzacz słusznie odrzucił (przykłady pisane ręcznie, nie z ChatGPT)

15 przypadków: program wzorcowy kontra wyniki ręczne

PrzypadekCo sprawdzaWynikUwagi
01-podstawowyDwie sprzedaże 23%, zakup towaru i paliwa (VAT odliczony w 50%).OK—
02-stawki-mieszaneSprzedaż 23%, 8%, 5%, 0% krajowa i zwolniona.OK—
03-korektaFaktura i korekta in minus (-200 netto, -46 VAT).OK—
04-sprzedaz-zagranicznaWDT do Niemiec (0%), eksport (0%) i sprzedaż krajowa 23%.OK—
05-zakup-zagraniczny-WNTNabycie z UE (WNT): wiersz K_23/K_24 w sprzedaży i K_42/K_43 w zakupach.OK—
06-srodek-trwalyZakup maszyny (K_40) poza kosztami i zwykły zakup; nadwyżka VAT.OK—
07-pusty-miesiacMiesiąc bez żadnej faktury.OK—
08-trzy-miesiace-trendTrzy miesiące: we wrześniu koszty się podwajają; jeden odbiorca to 60%.OK—
09-niezgodna-suma-kontrolnaSuma kontrolna VAT w pliku (300) nie zgadza się z wierszami (230).OK—
10-bledny-nipDostawca z NIP-em o złej cyfrze kontrolnej.OK—
11-faktury-ksefDwie faktury KSeF FA(3): sprzedaż 23% i zakup 8%.OK—
12-faktura-w-euroFaktura KSeF w PLN i faktura WDT w EUR (EUR nie może trafić do sum w złotych).OK—
13-zla-strukturaPlik to faktura, a nie JPK.OK—
14-uszkodzony-xmlPlik urwany w połowie.OK—
15-zla-kwotaW kwocie litera O zamiast zera.OK—

Pokaz sprawdzacza na przykładowych odpowiedziach

OdpowiedźWynikCo wyłapał sprawdzacz
01-podstawowy.txtOK—
03-korekta.txtBŁĄD
  • brak wymaganych kodów: KOREKTY
  • liczby spoza wyniku programu: 600
05-zakup-zagraniczny-WNT.txtBŁĄD
  • 2026-05 przychod: jest 3000.00, powinno być 1000.00
  • 2026-05 vat_nalezny: jest 690.00, powinno być 230.00
  • 2026-05 l_sprzedaz: jest 2, powinno być 1
  • brak wymaganych kodów: POLE_NIEOBSLUGIWANE, SUMA_NIEZGODNA
  • liczby spoza wyniku programu: 3 000,00
  • (uwaga) program wzorcowy dał też: KONCENTRACJA, NADWYZKA_VAT
08-trzy-miesiace-trend.txtOK—
13-zla-struktura.txtOK—

Sprawdza: liczby w bloku wobec wartości oczekiwanych (tolerancja 1 grosz), wymagane kody ostrzeżeń, kody bez podstawy i każdą liczbę w zwykłym tekście, której nie ma w wyniku programu wzorcowego (z zaokrągleniem; dozwolone stałe: stawki podatku, terminy, numeracja).

Kiedy, kto i ile minut

KiedyCoKtoCzas
Raz, przy konfiguracjipełny sprawdzian A1 (15 plików) + test A2Artur z Krzysztofemok. 60 min
Po każdej zmianie instrukcjiszybki sprawdzian: przypadki 01, 03, 05, 08, 13 albo test A2Arturok. 20 min
Co miesiąckarta oceny na 10 prawdziwych raportachpracownicaok. 30 min
Co kwartał / gdy OpenAI zmieni modelpełny sprawdzianArturok. 60 min

Choćby jeden BŁĄD: asystent nie idzie do pracy, dopóki nie poprawimy instrukcji. Próg karty oceny: liczby 10/10, gotowe do wysłania min. 8/10.

Pliki

  1. Folder dla Artura: zestaw-kontrolny\dla-Artura\: 1-pliki-testowe-A1 (15 przypadków), 2-test-A2, 3-sprawdzacz.xlsx (formuły OK/BŁĄD, wzorzec A2, karta oceny), POLECENIA.md.
  2. Skrypty: sprawdz_program.py, sprawdz_odpowiedzi.py FOLDER, a2_wzorzec.py [odpowiedz.txt], pakiet.py, podglad.py; testy: python -m unittest test_zestaw.
  3. Etap 2 (opcjonalnie): automatyczne evale przez OpenAI API, osobne konto, ok. 0,6–3 USD za pełny przebieg (szacunek).