Luminous-Performance-Benchmarks

Die Studie vergleicht Luminous u.a. mit den Modellen des GPT-3- und ChatGPT-Entwicklers OpenAI.

Wir präsentieren unsere Benchmark-Ergebnisse für die Large Language Models von Aleph Alpha: luminous-base,luminous-extended und luminous-supreme – verfügbar im Completion-Playground und über den API-Client. Luminous-Modelle folgen einer Decoder-only-autoregressiven Architektur mit Rotary-Positional-Embeddings. Unsere Modelle werden auf einem kuratierten mehrsprachigen Korpus mit Quellen auf Englisch, Deutsch, Französisch, Italienisch und Spanisch trainiert – mit ca. 400 Mrd. bis ca. 588 Mrd. Sprach-Tokens für das kleinste bzw. größte Modell.

Lade das PDF hier herunter.

Inhaltsverzeichnis

1. Evaluations-Framework
2. Modellperformance auf Core-Tasks
3. Modellperformance auf einem erweiterten Aufgabenset
4. Few-Shot-Prompting
5. Ergänzende Materialien

1. Evaluations-Framework

Während Aleph Alpha Playground und API auch Endpoints für Question-Answering, Embedding und Zusammenfassung sowie multimodale Fähigkeiten bieten, konzentrieren wir uns hier auf die Evaluation textbasierter Completions des Large Language Models. Dafür nutzen wir das Evaluation-Harness-Package (lm-eval) von EleutherAI.

Die Korrektheit der Completions messen wir, wo möglich, mit der Soft-Accuracy-Metrik (acc). Dabei wird für jede mögliche Multiple-Choice-Completion-Option die Log-Likelihood-Wahrscheinlichkeit gemessen, und diejenige mit der höchsten Wahrscheinlichkeit ausgewählt, um die Genauigkeit der Vorhersage gegenüber der Ground-Truth-Option zu bestimmen. Für generative Aufgaben wird eine Exact-Match-Accuracy-Metrik (exact) berechnet, indem geprüft wird, ob die Modell-Completion exakt mit dem erwarteten Output übereinstimmt. Die mit exact evaluierten Aufgaben sind: squad2, triviaqs und webqs.

Hinweis: Wenn wir mit anderen Modellen vergleichen, tun wir das nur für Ergebnisse, die mit diesem gemeinsamen Benchmarking-Setup erzeugt wurden – Evaluationsergebnisse können bei einigen Tasks durch Prompt-Formulierung, Checkpoint-Formate, verwendete Daten-Splits etc. von publizierten Werten abweichen.

2. Modellperformance auf Core-Tasks

Zunächst zeigen wir Ergebnisse für unser aktuelles bestes Modell (luminous-supreme mit 70 Mrd. Parametern) auf einem Set von 16 Core-Tasks – im Vergleich zu Benchmark-Ergebnissen von BigScience BLOOM (176B) und Meta AI OPT (175B), die mit lm-eval erzeugt wurden (siehe Link hier). OpenAI davinci (175B) wird von uns selbst mit demselben Setup wie für unsere Aleph Alpha Luminous-Modelle evaluiert. Wir verzeichnen über alle 16 Tasks gemittelt wettbewerbsfähige Accuracy-Ergebnisse – besonders angesichts unserer kleineren Architektur im Vergleich zu den anderen Modellen.

Die untersuchten Tasks decken fünf Gruppen ab:

• Klassifikation (wic),
• Closed-Book Question Answering (triviaqa, webqs),
• Common-Sense-Reasoning (arc_challenge, arc_easy, copa, hellaswag, openbookqa, piqa, winogrande, wsc),
• Natural Language Inference (rte),
• Reading Comprehension (boolq, lambada, multirc, race).

Beispiel-Prompts für die evaluierten Tasks und detaillierte Performance-Informationen findest du im Abschnitt mit den ergänzenden Materialien in Kapitel 6.

3. Modellperformance auf einem erweiterten Aufgabenset

Zusätzlich veröffentlichen wir weitere Benchmark-Ergebnisse mit 12 zusätzlichen Tasks und erweitern das Evaluationsset auf insgesamt 28 Tasks. Wir ergänzen unseren Vergleich um unsere beiden alternativen kleineren Modelle luminous-base und luminous-extended mit 13 Mrd. bzw. 30 Mrd. Parametern.

Die zusätzlichen Tasks sind:

• Klassifikation (mrpc, sst),
• Natural Language Inference (anli_r1, anli_r2, anli_r3, cb, mnli, mnli_mismatched, qnli, wnli),
• Reading Comprehension (squad2, race_mid).

Aus der untenstehenden Grafik lässt sich erkennen, dass Performance-Verbesserungen über alle untersuchten Task-Typen hinweg auftreten, sobald die Modellgröße steigt. Dieser Trend deckt sich mit empirischen Scaling-Law-Beobachtungen aus vorheriger Arbeit. Wir erwarten weitere Verbesserungen mit unserem hochskalierten luminous-world-Modell (folgt bald).

4. Few-Shot-Prompting

Die Tabelle unten zeigt die Benchmark-Ergebnisse mit Few-Shot-Prompting für die oben genannten 16 Core-Tasks. Null bis fünf Beispiele (in lm-eval durch zwei neue Zeilen getrennt) werden im Prompt als Input für die Completion konkateniert.

Few-Shot-Prompting hilft, die Performance bei Completion-Tasks für unsere Luminous-Modelle zu verbessern (6% bei luminous-supreme zwischen 0-Shot und 5-Shots). Je nach Anforderungen der Endnutzer:innen erlaubt das auch schnellere und günstigere Inferenz mit kleineren Modellen, ohne bei der Genauigkeit Kompromisse zu machen: Zum Beispiel können 5-Shot-Beispiele bei luminous-extended im Schnitt eine Performance ermöglichen, die fast so gut ist wie 0-Shot bei luminous-supreme.

Während die Tabelle Likelihood-basierte Genauigkeiten vergleicht, haben wir einen noch größeren Effekt auf Exact-Match-Completion-Tasks beobachtet – dort helfen die Few-Shot-Beispiele, die Performance zu steigern, indem sie dem Modell Beispiele dafür geben, welcher Antworttyp erwartet wird.

Zusätzlich haben wir eine Ablationsstudie durchgeführt, in der luminous-supreme erneut mit 1-Shot-Beispielen evaluiert wurde – diesmal aber mit „\\n###\\n“ als Separator (wie üblicherweise in unseren Playground-Beispielen) statt der lm-eval-Standard- Zeilenwechsel „\\n\\n“. Beide Few-Shot-Separatoren liefern sehr nahe beieinander liegende durchschnittliche Accuracy-Werte (55,3% mit „\\n###\\n“ und 55,7% mit „\\n\\n“), und die Scores für einzelne Tasks liegen innerhalb von 5% auseinander.

5. Ergänzende Materialien

Benchmark-Ergebnisse auf dem Core-Aufgabenset

Benchmark-Ergebnisse auf dem erweiterten Aufgabenset

Benchmark mit Few-Shot-Prompts

Beispiel-Prompts für verschiedene Task-Kategorien

# Classification example: # - wic with Likelihood-based accuracy metric prompt = """ Sentence 1: Let's break for lunch. Sentence 2: A man broken by the terrible experience of near-death. Question: Is the word 'break' used in the same way in the two sentences above? Answer:""" expected_completion = " no" # evaluate against the following completions: [yes/no] # Closed-Book Question Answering example: # - triviaqa with Exact Match accuracy metric checked against a list of correct answers prompt = """ Question: What type of leaves does a koala feed on? Answer:""" expected_completion = " Eucalypti" # the following are also correct answers: [Eucalyptus/Gum trees/Gum-tree/Ευκάλυπτος] # Commonsense Reasoning example: # - copa with Likelihood-based accuracy metric prompt_1 = "The man perceived that the woman looked different because the woman got her hair cut." prompt_2 = "The man perceived that the woman looked different because the woman wore a bracelet." # correct answer # Natural Language Inference example: # - rte with Likelihood-based accuracy metric prompt = """ The number of Danes opposed to swapping the krone for the euro has increased slightly to 35.3 percent, up from 34.6 percent in April, according to a poll published on Thursday by Danske Bank. Question: The introduction of the euro has been opposed. True or False? Answer:""" expected_completion = " True" # evaluate against the following completions: [True/False] # Reading Comprehension example: # - xquad_en with Exact Match accuracy metric prompt = """ Between Bingen and Bonn, the Middle Rhine flows through the Rhine Gorge, a formation which was created by erosion. The rate of erosion equaled the uplift in the region, such that the river was left at about its original level while the surrounding lands raised. The gorge is quite deep and is the stretch of the river which is known for its many castles and vineyards. It is a UNESCO World Heritage Site (2002) and known as "the Romantic Rhine", with more than 40 castles and fortresses from the Middle Ages and many quaint and lovely country villages. Question: What flows between Bingen and Bonn? Answer:""" expected_completion = "Middle Rhine"

Beispiel-Prompt aus der Few-Shot-Studie

# Few-shot prompting example # - boolq dataset with 2-shot prompt prompt=""" Central government -- A central government is the government of a nation-state and is a characteristic of a unitary state. This is the same thing as a federal government which may have distinct powers at various levels authorized or delegated to it by its member states, though the adjective 'central' is sometimes used to describe it. The structure of central governments varies. Many countries have created autonomous regions by delegating powers from the central government to governments at a subnational level, such as a regional, state or local level. Based on a broad definition of a basic political system, there are two or more levels of government that exist within an established territory and govern through common institutions with overlapping or shared powers as prescribed by a constitution or other law. Question: is national and federal government the same thing? Answer: yes White House -- The White House is the official residence and workplace of the President of the United States. It is located at 1600 Pennsylvania Avenue NW in Washington, D.C., and has been the residence of every U.S. president since John Adams in 1800. The term White House is often used as a metonym for the president and his advisers, as in \`\`The White House announced that...''. Question: is the white house in the state of washington? Answer: no NCIS: New Orleans (season 4) -- The fourth season of NCIS: New Orleans premiered on September 26, 2017 on CBS. The series continues to air following Bull, Tuesday at 10:00 p.m. (ET) and contained 24 episodes. The season concluded on May 15, 2018. Question: is ncis new orleans over for the season? Answer:"""