Integracje Gaius-Lex z Outlookiem, Gmailem, OneDrive i Dyskiem Google są już dostępneDowiedz się więcej

Benchmark Gaius-Haystack · metodologia

Jak zmierzyliśmy pięć systemów na 5000 dokumentów.

Opisujemy korpus, pytania, sposób oceny i konfigurację każdego systemu, żebyś mógł sprawdzić nasze liczby.

Wersja testuGaius-Haystack 5k (pilot)
AutorZespół Gaius-Lex
Ostatnia aktualizacja17 listopada 2026
01 · Korpus

Syntetyczna kancelaria: 5000 plików po polsku.

Korpus powstał deterministycznie z tabeli faktów. Dzięki temu dla każdego pytania istnieje jedna poprawna odpowiedź, którą wylicza kod. W plikach nie ma danych prawdziwych klientów.

Faktury
1900 (38%)
Potwierdzenia przelewów, notatki ze spotkań i maile-szum
1588 (31,8%)
Umowy
1000 (20%)
Aneksy do umów
362 (7,2%)
Projekty umówpułapki dla systemów
150 (3%)
Razem 5000 plików .txt. Projekty umów to pułapki: system powinien odróżnić je od umów, które obowiązują.
02 · Pytania

16 pytań: 5 igieł i 11 agregacji.

Igła to pytanie o jedną informację ukrytą w zbiorze. Agregacja wymaga przejścia po wielu dokumentach: policzenia, zsumowania, pogrupowania albo porównania. Każde pytanie zadaliśmy każdemu systemowi dwa razy.

03 · Ocena odpowiedzi

Odpowiedzi ocenia kod, nie drugi model.

Poprawne odpowiedzi wylicza program z tabeli faktów. Odpowiedź systemu porównuje z nimi deterministyczny scorer, czyli ten sam kod zawsze da ten sam wynik. Nie używamy sędziego LLM.

Liczby.

Kwoty i liczby zaliczamy z tolerancją 0,5%.

Identyfikatory.

Numer umowy albo faktury musi się zgadzać z odpowiedzią wzorcową.

Listy.

Dla list liczymy miarę F1: liczy się zarówno to, co system znalazł, jak i to, co pominął albo dodał błędnie.

Wynik pytania to liczba od 0 do 100%. Wynik systemu to średnia z 32 odpowiedzi: 16 pytań, każde w dwóch powtórzeniach.

04 · Równe warunki

Jeden model i jeden embedder dla wszystkich.

Różnice w wynikach nie biorą się z lepszego modelu. Każdy system dostał ten sam model językowy, ten sam embedder i te same 5000 plików.

Model językowyGLM-5.3-Flashten sam dla wszystkich pięciu systemów
Embeddervoyage-4-nanoten sam indeks wektorowy dla wszystkich systemów
Konfiguracja systemów w benchmarku Gaius-Haystack
SystemWersjaWyszukiwanieUstawienia
Gaius-Lex—Agent: wyszukiwanie semantyczne po plikach, dokładne wyszukiwanie tekstu (grep), sandbox do obliczeńBez researchu prawnego
RAGFlowv1.0.0Hybrydowe20 fragmentów, bez progu podobieństwa, reszta domyślnie
AnythingLLM—Domyślne20 fragmentów, bez progu podobieństwa, reszta domyślnie
Open WebUI—Domyślne20 fragmentów, bez progu podobieństwa, reszta domyślnie
Dify1.19Semantyczne20 fragmentów, bez progu podobieństwa, reszta domyślnie
05 · Ranking Elo

Od pojedynków do rankingu.

01

Pojedynki.

Każde pytanie w każdym powtórzeniu to pojedynek każdej pary systemów. Wygrywa wyższy wynik, równy wynik to remis, czyli pół wygranej dla każdej strony.

02

Punkty.

Do wszystkich pojedynków dopasowujemy model Bradleya-Terry'ego. Wynik przeliczamy na skalę Elo (400 · log10), średnia pięciu systemów to 1000.

03

Niepewność.

Przedział 95% liczymy metodą bootstrap: 2000 losowań 16 pytań ze zwracaniem. Przedział Gaius-Lex (1122–1352) nie nakłada się z przedziałem żadnego innego systemu.

06 · Ograniczenia

Czego ten test nie mówi.

  • Zakres.Test sprawdza, czy system znajduje informację i poprawnie liczy po dużym zbiorze dokumentów. Nie mierzy jakości rozumowania prawnego ani pisania.
  • Mała próba.16 pytań to mało. Pojedyncze pytanie jest anegdotą, liczy się obraz całości.
  • Korpus.Dane są syntetyczne i zapisane jako pliki .txt. Test nie sprawdza odczytu skanów ani plików PDF.
  • Szczęśliwe trafienia.Dwa trafienia systemów RAG (RAGFlow na A2b i częściowo AnythingLLM na A4b) wynikały z niepełnych danych, które akurat dały dobrą odpowiedź.
  • Pomyłki Gaius-Lex.A2b: przy 14 umowach z tą samą karą umowną przeoczył najwcześniej podpisaną. A6: klauzulę poufności policzył po słowach zamiast po znaczeniu.
  • Kto testował.Benchmark przygotował i przeprowadził zespół Gaius-Lex. Dlatego publikujemy pytania, konfigurację i wyniki pytanie po pytaniu.
Wróć do wyników benchmarku

Chcesz powtórzyć ten test na swoich dokumentach?

Umów rozmowę. Pokażemy, jak Gaius-Lex pracuje na dużym zbiorze umów, aneksów i faktur.

Rozmowa bez zobowiązań.