KI-Modelle: Es droht ein Mangel an Trainingsdaten Infotech KI
KI-Modelle: Hochwertige Trainingsdaten zu finden, ist schwierig
Für das Training der Sprachmodelle teilen die Forscher die Daten zumeist in zwei Kategorien ein: hohe Qualität und niedrige Qualität. Die Grenze zwischen den beiden Kategorien könne zwar fließend sein, sagt Pablo Villalobos, Mitarbeiter bei Epoch und Hauptautor der Studie. Aber Texte aus der ersten Kategorie gelten gemeinhin als besser geschrieben und werden oft von professionellen Autoren verfasst.
Daten mit niedriger Qualität bestehen dagegen aus Beiträgen in sozialen Medien oder aus Nutzerkommentaren auf Websites wie 4chan und Reddit. Sie überwiegen rein zahlenmäßig bei weitem die Daten, die als hochwertig gelten. In der Regel trainieren die Forscher ihre Modelle nur mit hochwertigen Daten, da dies die Art von Sprache ist, die die Modelle später reproduzieren sollen.
Die Forschenden könnten aber auch versuchen, die Lebensdauer der für das Training von Sprachmodellen verwendeten Daten zu verlängern. Derzeit werden die Large Language Models aufgrund von Leistungs- und Kostenbeschränkungen nur einmal mit denselben Daten gefüttert. Es wäre jedoch möglich, ein Modell mehrmals mit denselben Daten zu trainieren, sagt Swayamdipta.
Manche Expertinnen und Experten glauben zudem, dass groß nicht gleich besser ist, wenn es um Sprachmodelle geht. Percy Liang, Informatikprofessor an der Stanford University, sagt, dass es Hinweise gebe, dass effizientere Modelle ihre Fähigkeiten verbessern können, ohne dass die Modelle dafür vergößert werden müssen.
Argentina Últimas Noticias, Argentina Titulares
Similar News:También puedes leer noticias similares a ésta que hemos recopilado de otras fuentes de noticias.
Geforce RTX 4070 Ti und Radeon RX 7900 XT/X: Diese Modelle sind bei Gigabyte geplantDiese Modelle sind bei Gigabyte für die Geforce RTX 4070 Ti und Radeon RX 7900 XT/X geplant. 🤩
Leer más »
Berlin: Eltern und Lehrer demonstrieren für bessere SchulenSchulplatz-Mangel und Unterrichtsausfall: Das ist der Alltag an Berliner Schulen. Eltern und Lehrer wollen das nicht hinnehmen.
Leer más »
Was man als Weihnachtsmann verdientBerlins „Oberweihnachtsmann“ Andreas Penski über den Weihnachtsmann-Mangel, sein Ehrenamt als Notfallseelsorger und warum er als Kind Angst vorm Weihnachtsmann hatte.
Leer más »
Studie: Fachkräftemangel gefährdet Energiewende in DeutschlandElektriker, Klimatechniker, Informatiker: Hunderttausende Fachkräfte fehlen für eine erfolgreiche Energiewende. Auch im Handwerk ist der Mangel dramatisch.
Leer más »
Umweltbonus für Plug-in-Hybrid läuft Ende 2022 aus: Alle InfosDie Förderung von Elektrofahrzeugen wird neu ausgerichtet - Änderungen beim Bundesanteil für vollelektrische Modelle stehen an
Leer más »