Benchmark Gaius-Haystack
Gaius-Lex kontra otwarte systemy RAG na 5000 dokumentów kancelarii.
Ten sam model językowy, ten sam indeks wektorowy, te same pytania. Gaius-Lex uzyskał średni wynik 87,5%. RAGFlow, AnythingLLM, Open WebUI i Dify: od 18,8% do 33,3%.
Wyniki każdego systemu na każdym z 16 pytań.
Prawnik pyta o jedną klauzulę, ale równie często o to, ile jest takich umów, która jest największa i co się nie zgadza. Dlatego test ma dwie części: igły i agregacje.
Znajdź jedną informację.
Pytanie pada dosłownie, w parafrazie albo wymaga dwóch kroków. Jedno ma pułapkę „projekt kontra aneks”, a w jednym poprawna odpowiedź brzmi „takiej umowy nie ma”.
Policz po całym zbiorze.
Policz, zsumuj, pogrupuj, znajdź największą i najmniejszą wartość, wskaż niespójności między fakturami a umowami.
Model ten sam. Inny jest sposób pracy na dokumentach.
Wszystkie pięć systemów korzystało z tego samego modelu językowego i tego samego embeddera. O wyniku zdecydowało to, ile dokumentów system potrafi przejrzeć i czy umie na nich liczyć.
Jedno wyszukiwanie, 20 fragmentów.
Model widzi tylko to, co zmieściło się w pobranych fragmentach. Gdy pytanie dotyczy setek umów albo faktur, większość potrzebnych dokumentów w ogóle do niego nie trafia.
Agent, który szuka po plikach i liczy.
Agent łączy wyszukiwanie semantyczne po plikach z dokładnym wyszukiwaniem tekstu. Sumy, średnie i porównania liczy w sandboxie.
Czego ten test nie pokazuje.
Benchmark przygotowaliśmy i przeprowadziliśmy sami. Dlatego pokazujemy każde pytanie, każdą pomyłkę i pełną konfigurację.
To test szukania i liczenia.
- Nie mierzy jakości rozumowania prawnego ani pisania.
- 16 pytań to mało. Pojedyncze pytanie jest anegdotą, liczy się obraz całości.
- Korpus jest syntetyczny i składa się z plików .txt. Test nie sprawdza odczytu skanów ani plików PDF.
Dwa pytania bez punktów.
- A2b: 14 umów miało tę samą, najniższą karę umowną. Gaius-Lex przeoczył najwcześniej podpisaną.
- A6: klauzulę poufności policzył po słowach zamiast po znaczeniu.
- Dwa trafienia systemów RAG (RAGFlow na A2b, częściowo AnythingLLM na A4b) wynikały z niepełnych danych, które akurat dały dobrą odpowiedź.
Gaius-Lex odpowiada wolniej.
- Mediana czasu odpowiedzi Gaius-Lex: 55 s.
- Otwarte systemy RAG: Dify 8 s, RAGFlow 11 s, Open WebUI 12 s, AnythingLLM 16 s.
- Agent wykonuje kilka kroków zamiast jednego wyszukiwania. W pełni poprawnie odpowiedział 28 razy na 32.
Pytania i odpowiedzi.
Czym jest benchmark Gaius-Haystack?
To test „igły w stogu siana” dla systemów pracujących na dokumentach: 5000 plików syntetycznej kancelarii i 16 pytań, na które poprawną odpowiedź da się wyliczyć kodem. Sprawdza dwie rzeczy: czy system znajdzie jedną informację i czy poprawnie policzy coś po całym zbiorze.
Czy wynik zależy od modelu językowego?
W tym teście nie. Wszystkie pięć systemów korzystało z tego samego modelu językowego i tego samego embeddera. Różnica wynika ze sposobu pracy na dokumentach.
Dlaczego systemy RAG gubią się przy liczeniu i sumowaniu?
Klasyczny RAG pobiera ustaloną liczbę najbardziej podobnych fragmentów (w teście 20) i na nich buduje odpowiedź. Gdy pytanie dotyczy setek umów albo faktur, większość potrzebnych dokumentów nie trafia do modelu.
Czy w korpusie są prawdziwe dane klientów?
Nie. Korpus jest syntetyczny. Wygenerowaliśmy go z tabeli faktów, dzięki czemu znamy poprawną odpowiedź na każde pytanie i możemy ją sprawdzić kodem.
Co oznacza Elo w tym rankingu?
Każde pytanie i każde powtórzenie traktujemy jak pojedynek każdego systemu z każdym. Punkty wylicza model Bradleya-Terry'ego, średnia to 1000. Przewaga 231 punktów odpowiada mniej więcej czterem wygranym na pięć pojedynków, jeśli remis liczyć jako pół wygranej.
Jak sprawdzić to na własnych dokumentach?
Umów rozmowę. Pokażemy, jak Gaius-Lex pracuje na dużym zbiorze umów, aneksów i faktur, i ustalimy, jak przetestować go na Twoich plikach: w chmurze w UE albo w Gaius Vault w Twojej sieci.
Sprawdź to na swoich dokumentach.
Pokażemy Gaius-Lex na prawdziwych zadaniach: tysiące umów, aneksów i faktur. Bez slajdów sprzedażowych.
Rozmowa bez zobowiązań.