Benchmark Gaius-Haystack · porównanie
Gaius-Lex vs AnythingLLM: 20 wygranych, 12 remisów, 0 przegranych.
AnythingLLM zajął trzecie miejsce w rankingu Elo i nie wygrał z Gaius-Lex żadnego z 32 pojedynków. Najbliżej był przy pytaniu o trzech największych klientów według faktur: wskazał dwóch z trzech.
FAQ
Gaius-Lex i AnythingLLM: pytania i odpowiedzi.
Czy AnythingLLM wystarczy do rozmowy z dokumentami kancelarii?
Małych zbiorów ten test nie sprawdza. Na 5000 dokumentów AnythingLLM znalazł dwie z pięciu igieł, a na agregacjach uzyskał 24,2%.
Dlaczego remisów jest aż 12?
Remis to ten sam wynik obu systemów na danym pytaniu. Osiem razy oba odpowiedziały w pełni poprawnie (N2, N5, A3, A8), cztery razy oba się pomyliły (A2b, A6).
Zobacz Gaius-Lex na dużym zbiorze dokumentów.
Pokażemy, jak agent szuka i liczy po tysiącach umów, aneksów i faktur. Bez slajdów sprzedażowych.
Rozmowa bez zobowiązań.