Integracje Gaius-Lex z Outlookiem, Gmailem, OneDrive i Dyskiem Google są już dostępneDowiedz się więcej

Benchmark Gaius-Haystack

Gaius-Lex kontra otwarte systemy RAG na 5000 dokumentów kancelarii.

Ten sam model językowy, ten sam indeks wektorowy, te same pytania. Gaius-Lex uzyskał średni wynik 87,5%. RAGFlow, AnythingLLM, Open WebUI i Dify: od 18,8% do 33,3%.

87,5%średni wynik Gaius-Lexnajlepszy rywal: 33,3%
100%znalezionych igiełotwarte systemy RAG: 20–40%
+231punktów Elo przewagi nad 2. miejscemprzedziały 95% się nie nakładają
28 z 32odpowiedzi w pełni poprawnychnajlepszy rywal: 10 z 32
Warunki testu5000 dokumentów16 pytań × 2 powtórzeniaTen sam model i embedderOcena kodem, bez sędziego LLMKorpus syntetyczny, po polsku
Pytanie po pytaniu

Wyniki każdego systemu na każdym z 16 pytań.

Prawnik pyta o jedną klauzulę, ale równie często o to, ile jest takich umów, która jest największa i co się nie zgadza. Dlatego test ma dwie części: igły i agregacje.

Igły · 5 pytań

Znajdź jedną informację.

Pytanie pada dosłownie, w parafrazie albo wymaga dwóch kroków. Jedno ma pułapkę „projekt kontra aneks”, a w jednym poprawna odpowiedź brzmi „takiej umowy nie ma”.

Agregacje · 11 pytań

Policz po całym zbiorze.

Policz, zsumuj, pogrupuj, znajdź największą i najmniejszą wartość, wskaż niespójności między fakturami a umowami.

Wynik w procentach, średnia z dwóch powtórzeń.Gaius-Lex, odpowiedź w pełni poprawnaInny system, odpowiedź w pełni poprawnaOdpowiedź częściowa albo poprawna w jednym powtórzeniu
Skąd różnica

Model ten sam. Inny jest sposób pracy na dokumentach.

Wszystkie pięć systemów korzystało z tego samego modelu językowego i tego samego embeddera. O wyniku zdecydowało to, ile dokumentów system potrafi przejrzeć i czy umie na nich liczyć.

Klasyczny RAG

Jedno wyszukiwanie, 20 fragmentów.

Pytanie
20 najbardziej podobnych fragmentów
Model pisze odpowiedź

Model widzi tylko to, co zmieściło się w pobranych fragmentach. Gdy pytanie dotyczy setek umów albo faktur, większość potrzebnych dokumentów w ogóle do niego nie trafia.

Gaius-Lex

Agent, który szuka po plikach i liczy.

Pytanie
Szukanie po plikach: semantyczne i dokładne
Obliczenia w sandboxie
Odpowiedź

Agent łączy wyszukiwanie semantyczne po plikach z dokładnym wyszukiwaniem tekstu. Sumy, średnie i porównania liczy w sandboxie.

Wąski pasek po lewej: 20 fragmentów to najwyżej 20 dokumentów, czyli 0,4% korpusu.Cały pasek: 5000 dokumentów.
Ograniczenia

Czego ten test nie pokazuje.

Benchmark przygotowaliśmy i przeprowadziliśmy sami. Dlatego pokazujemy każde pytanie, każdą pomyłkę i pełną konfigurację.

Zakres

To test szukania i liczenia.

  • Nie mierzy jakości rozumowania prawnego ani pisania.
  • 16 pytań to mało. Pojedyncze pytanie jest anegdotą, liczy się obraz całości.
  • Korpus jest syntetyczny i składa się z plików .txt. Test nie sprawdza odczytu skanów ani plików PDF.
Pomyłki Gaius-Lex

Dwa pytania bez punktów.

  • A2b: 14 umów miało tę samą, najniższą karę umowną. Gaius-Lex przeoczył najwcześniej podpisaną.
  • A6: klauzulę poufności policzył po słowach zamiast po znaczeniu.
  • Dwa trafienia systemów RAG (RAGFlow na A2b, częściowo AnythingLLM na A4b) wynikały z niepełnych danych, które akurat dały dobrą odpowiedź.
Koszt dokładności

Gaius-Lex odpowiada wolniej.

  • Mediana czasu odpowiedzi Gaius-Lex: 55 s.
  • Otwarte systemy RAG: Dify 8 s, RAGFlow 11 s, Open WebUI 12 s, AnythingLLM 16 s.
  • Agent wykonuje kilka kroków zamiast jednego wyszukiwania. W pełni poprawnie odpowiedział 28 razy na 32.
Pełna metodologia: korpus, pytania, ocena
FAQ

Pytania i odpowiedzi.

Czym jest benchmark Gaius-Haystack?

To test „igły w stogu siana” dla systemów pracujących na dokumentach: 5000 plików syntetycznej kancelarii i 16 pytań, na które poprawną odpowiedź da się wyliczyć kodem. Sprawdza dwie rzeczy: czy system znajdzie jedną informację i czy poprawnie policzy coś po całym zbiorze.

Czy wynik zależy od modelu językowego?

W tym teście nie. Wszystkie pięć systemów korzystało z tego samego modelu językowego i tego samego embeddera. Różnica wynika ze sposobu pracy na dokumentach.

Dlaczego systemy RAG gubią się przy liczeniu i sumowaniu?

Klasyczny RAG pobiera ustaloną liczbę najbardziej podobnych fragmentów (w teście 20) i na nich buduje odpowiedź. Gdy pytanie dotyczy setek umów albo faktur, większość potrzebnych dokumentów nie trafia do modelu.

Czy w korpusie są prawdziwe dane klientów?

Nie. Korpus jest syntetyczny. Wygenerowaliśmy go z tabeli faktów, dzięki czemu znamy poprawną odpowiedź na każde pytanie i możemy ją sprawdzić kodem.

Co oznacza Elo w tym rankingu?

Każde pytanie i każde powtórzenie traktujemy jak pojedynek każdego systemu z każdym. Punkty wylicza model Bradleya-Terry'ego, średnia to 1000. Przewaga 231 punktów odpowiada mniej więcej czterem wygranym na pięć pojedynków, jeśli remis liczyć jako pół wygranej.

Jak sprawdzić to na własnych dokumentach?

Umów rozmowę. Pokażemy, jak Gaius-Lex pracuje na dużym zbiorze umów, aneksów i faktur, i ustalimy, jak przetestować go na Twoich plikach: w chmurze w UE albo w Gaius Vault w Twojej sieci.

Sprawdź to na swoich dokumentach.

Pokażemy Gaius-Lex na prawdziwych zadaniach: tysiące umów, aneksów i faktur. Bez slajdów sprzedażowych.

Rozmowa bez zobowiązań.