Benchmark Gaius-Haystack · porównanie
Gaius-Lex vs RAGFlow: 20 wygranych, 10 remisów, 2 przegrane.
RAGFlow był najlepszym z czterech otwartych systemów RAG w naszym teście i jedynym, który wygrał z Gaius-Lex choć jedno pytanie. Mimo to na 5000 dokumentów kancelarii odpowiedział w pełni poprawnie 10 razy na 32. Gaius-Lex: 28 razy.
Gaius-Lex i RAGFlow: pytania i odpowiedzi.
Czy RAGFlow nadaje się do pracy na dokumentach kancelarii?
Do pytań o pojedynczy dokument w naszym teście często tak. Do liczenia, sumowania i porównań po tysiącach plików już nie: średni wynik RAGFlow na agregacjach to 30,3%, a Gaius-Lex 81,8%.
Czy inne ustawienia RAGFlow dałyby lepszy wynik?
Możliwe. Testowaliśmy wersję 1.0.0 z 20 fragmentami na pytanie i resztą ustawień domyślnych. Innych ustawień nie sprawdzaliśmy.
Dlaczego RAGFlow wygrał z Gaius-Lex jedno pytanie?
Chodzi o pytanie A2b: najniższa kara umowna wśród umów IT, a przy remisie najwcześniej podpisana umowa. Tę samą, najniższą karę miało 14 umów i Gaius-Lex przeoczył najwcześniejszą z nich. Opisujemy to w metodologii.
Zobacz Gaius-Lex na dużym zbiorze dokumentów.
Pokażemy, jak agent szuka i liczy po tysiącach umów, aneksów i faktur. Bez slajdów sprzedażowych.
Rozmowa bez zobowiązań.