AI na egzaminie do KIO: co pokazał eksperyment UZP i Krajowej Izby Odwoławczej

Witold Wydmański, CTO Gaius-Lex, wziął udział w eksperymencie zorganizowanym przez Urząd Zamówień Publicznych i Krajową Izbę Odwoławczą. Cel: sprawdzić, jak systemy AI radzą sobie z egzaminem na członka KIO - dokumentem, który rocznie zdaje mniej niż 10 osób w całej Polsce.

Egzamin składa się z dwóch części. Pierwsza to test teoretyczny z aktualnych przepisów o zamówieniach publicznych. Druga to część praktyczna, czyli napisanie orzeczenia na podstawie opisu konkretnej sprawy.

W części teoretycznej testowane modele (m.in. GPT-4.1, Claude 4 Sonnet i Bielik-11B) radziły sobie względnie dobrze. W części praktycznej pojawiły się poważne problemy: niespójna argumentacja oraz powołania na wyroki i przepisy, które nie istnieją. Na pierwszy rzut oka wygenerowane teksty wyglądały poprawnie - dopiero szczegółowa analiza pokazywała, gdzie prawdziwe dane mieszają się ze zmyślonymi.

Cały przebieg eksperymentu i wypowiedź Witolda opisuje PARP: https://pap-mediaroom.pl/nauka-i-technologie/ai-wkracza-do-zamowien-publicznych

W Gaius-Lex budujemy asystenta prawnego, który do każdego wskazanego źródła - wyroku, przepisu, interpretacji - dołącza link umożliwiający weryfikację. Decyzję zawsze podejmuje prawnik.