Benchmark Gaius-Haystack · metodologia
Jak zmierzyliśmy pięć systemów na 5000 dokumentów.
Opisujemy korpus, pytania, sposób oceny i konfigurację każdego systemu, żebyś mógł sprawdzić nasze liczby.
Syntetyczna kancelaria: 5000 plików po polsku.
Korpus powstał deterministycznie z tabeli faktów. Dzięki temu dla każdego pytania istnieje jedna poprawna odpowiedź, którą wylicza kod. W plikach nie ma danych prawdziwych klientów.
16 pytań: 5 igieł i 11 agregacji.
Igła to pytanie o jedną informację ukrytą w zbiorze. Agregacja wymaga przejścia po wielu dokumentach: policzenia, zsumowania, pogrupowania albo porównania. Każde pytanie zadaliśmy każdemu systemowi dwa razy.
Odpowiedzi ocenia kod, nie drugi model.
Poprawne odpowiedzi wylicza program z tabeli faktów. Odpowiedź systemu porównuje z nimi deterministyczny scorer, czyli ten sam kod zawsze da ten sam wynik. Nie używamy sędziego LLM.
Liczby.
Kwoty i liczby zaliczamy z tolerancją 0,5%.
Identyfikatory.
Numer umowy albo faktury musi się zgadzać z odpowiedzią wzorcową.
Listy.
Dla list liczymy miarę F1: liczy się zarówno to, co system znalazł, jak i to, co pominął albo dodał błędnie.
Wynik pytania to liczba od 0 do 100%. Wynik systemu to średnia z 32 odpowiedzi: 16 pytań, każde w dwóch powtórzeniach.
Jeden model i jeden embedder dla wszystkich.
Różnice w wynikach nie biorą się z lepszego modelu. Każdy system dostał ten sam model językowy, ten sam embedder i te same 5000 plików.
| System | Wersja | Wyszukiwanie | Ustawienia |
|---|---|---|---|
| Gaius-Lex | — | Agent: wyszukiwanie semantyczne po plikach, dokładne wyszukiwanie tekstu (grep), sandbox do obliczeń | Bez researchu prawnego |
| RAGFlow | v1.0.0 | Hybrydowe | 20 fragmentów, bez progu podobieństwa, reszta domyślnie |
| AnythingLLM | — | Domyślne | 20 fragmentów, bez progu podobieństwa, reszta domyślnie |
| Open WebUI | — | Domyślne | 20 fragmentów, bez progu podobieństwa, reszta domyślnie |
| Dify | 1.19 | Semantyczne | 20 fragmentów, bez progu podobieństwa, reszta domyślnie |
Od pojedynków do rankingu.
Pojedynki.
Każde pytanie w każdym powtórzeniu to pojedynek każdej pary systemów. Wygrywa wyższy wynik, równy wynik to remis, czyli pół wygranej dla każdej strony.
Punkty.
Do wszystkich pojedynków dopasowujemy model Bradleya-Terry'ego. Wynik przeliczamy na skalę Elo (400 · log10), średnia pięciu systemów to 1000.
Niepewność.
Przedział 95% liczymy metodą bootstrap: 2000 losowań 16 pytań ze zwracaniem. Przedział Gaius-Lex (1122–1352) nie nakłada się z przedziałem żadnego innego systemu.
Czego ten test nie mówi.
- Zakres.Test sprawdza, czy system znajduje informację i poprawnie liczy po dużym zbiorze dokumentów. Nie mierzy jakości rozumowania prawnego ani pisania.
- Mała próba.16 pytań to mało. Pojedyncze pytanie jest anegdotą, liczy się obraz całości.
- Korpus.Dane są syntetyczne i zapisane jako pliki .txt. Test nie sprawdza odczytu skanów ani plików PDF.
- Szczęśliwe trafienia.Dwa trafienia systemów RAG (RAGFlow na A2b i częściowo AnythingLLM na A4b) wynikały z niepełnych danych, które akurat dały dobrą odpowiedź.
- Pomyłki Gaius-Lex.A2b: przy 14 umowach z tą samą karą umowną przeoczył najwcześniej podpisaną. A6: klauzulę poufności policzył po słowach zamiast po znaczeniu.
- Kto testował.Benchmark przygotował i przeprowadził zespół Gaius-Lex. Dlatego publikujemy pytania, konfigurację i wyniki pytanie po pytaniu.
Chcesz powtórzyć ten test na swoich dokumentach?
Umów rozmowę. Pokażemy, jak Gaius-Lex pracuje na dużym zbiorze umów, aneksów i faktur.
Rozmowa bez zobowiązań.