KI und maschinelles Lernen (ML) verändern unseren Alltag und wie wir arbeiten enorm. Hier finden Sie deshalb den zweiten Teil der Übersicht über wichtige KI-Begriffe und KI-Konzepte. Von LLMs (Large Language Modelle) über grundlegenden Techniken des maschinellen Lernens (ML) bis hin zu Stacking, Text Mining, Transformer-Architekturen und Daten. Denn ohne Dateninformationen und Trainings gibt es keine KI.
Teil 1 (A - K) finden Sie hier.

Large Language Model (Großes Sprachmodell)

Ein maschinelles Lernmodell, das darauf trainiert ist, menschliche Sprache zu verstehen, zu generieren und auf Anfragen zu reagieren. LLMs werden mit riesigen Mengen an Textdaten trainiert und bestehen aus Milliarden bis hin zu Billionen von Parametern, was ihnen ermöglicht, komplexe Sprachmuster und Zusammenhänge zu lernen. Bekannte Beispiele für LLMs sind Claude, GPT, LaMDA, LLaMA oder BERT. LLMs werden in einer Vielzahl von Anwendungen eingesetzt, darunter Chatbots, Messenger, Textanalyse, maschinelle Übersetzung und Inhaltsgenerierung.

Latenter Raum

Im ML bezieht sich dieser Begriff auf die komprimierte Darstellung von Daten, die ein Modell (z. B. ein neuronales Netz) erzeugt. Ähnliche Datenpunkte liegen im latenten Raum näher beieinander.

Maschinelles Lernen (ML)

Ein Gebiet der KI, bei dem Algorithmen aus Daten lernen und Muster erkennen, um Vorhersagen zu treffen oder Entscheidungen zu automatisieren. Ein Beispiel ist ein ML-Algorithmus, der die Wahrscheinlichkeit eines Kundenverlusts auf der Grundlage des bisherigen Verhaltens vorhersagt.

Modelloptimierung

Der Prozess bei dem Modellparameter angepasst werden, um eine Verlustfunktion zu minimieren, die den Unterschied zwischen den Modellvorhersagen und den tatsächlichen Werten misst. Der am häufigsten verwendete Optimierungsalgorithmus für neuronale Netze ist der Gradientenabstieg (Gradient Descent). Dabei werden die Parameter in kleinen Schritten angepasst, um das Modell in Richtung optimaler Parameter zu führen. Optimierung ist ein zentraler Bestandteil des Trainingsprozesses von Modellen und entscheidend für deren Genauigkeit und Leistung.

Modellverkettung

Bei dieser Technik werden in der Datenwissenschaft mehrere maschinelle Lernmodelle hintereinandergeschaltet, um Vorhersagen oder Analysen durchzuführen.

Multi-hop Reasoning

Ein Begriff, der häufig bei der Verarbeitung natürlicher Sprache (NLP) verwendet wird, insbesondere bei Aufgaben im Zusammenhang mit maschinellem Leseverständnis. Multi-hop Reasoning bezieht sich auf den Prozess, mit dem ein KI-Modell Antworten auf Fragen findet, indem es mehrere Informationen in einem bestimmten Text oder über mehrere Quellen und Systeme miteinander verknüpft, anstatt Informationen direkt aus einer einzelnen Passage zu extrahieren.

Natural Language Processing (NLP)

NLP oder Sprachverarbeitung ist ein Bereich der KI, der Computern ermöglicht, menschliche Sprache zu verstehen, zu interpretieren und zu generieren. Hauptaufgaben sind Spracherkennung, Textanalyse, Sprachgenerierung, Übersetzung und Sentiment-Analyse, das Erkennen von menschlichen Emotionen, Urteilen und Meinungen durch KI. NLP wird in Chatbots, Sprachassistenten und Übersetzungsdiensten eingesetzt und nutzt ML und neuronale Netze, um menschenähnlich zu interagieren.

Neuronales Netz

Ein ML-Modell, das von der Struktur und Funktion des menschlichen Gehirns inspiriert ist und aus Schichten miteinander verbundener Knoten oder „Neuronen“ besteht. Sie ermöglichen Mustererkennung und Problemlösung durch maschinelles Lernen oder Deep Learning und versuchen, die Analysemechanismen des menschlichen Gehirns zu modellieren.

Null-Trigger-Lernen oder Null-Training

Bei dieser Technik kann ein maschinelles Lernmodell neue Konzepte ohne markierte Beispiele erkennen und klassifizieren.

OpenAI

Diese Unternehmen hat ChatGPT entwickelt. OpenAI ist ein Forschungsunternehmen, das sich der Entwicklung und Förderung von verantwortungsvoller KI verschrieben hat. OpenAI ist vor allem bekannt für die Entwicklung generativer vortrainierten Transformer (GPT) – auch GenAI genannt – und der daraus abgeleiteten Softwareprodukte wie ChatGPT oder Dall-E.

Overfitting (Überanpassung)

Dieses Problem tritt auf, wenn ein Modell zu komplex ist und gut mit Trainingsdaten, aber schlecht mit untrainierten Daten funktioniert. Ein Beispiel für Overfitting ist ein Modell, das sich an Trainingsdaten erinnert, anstatt allgemeine Muster zu lernen, und daher bei neuen Daten schlecht abschneidet.

Parameter

Beim maschinellen Lernen sind Parameter die internen Variablen, die das Modell verwendet, um Vorhersagen zu treffen. Sie werden während des Trainingsprozesses aus den Trainingsdaten erlernt. In einem neuronalen Netz sind beispielsweise Gewichte und Verzerrungen Parameter.

Pretraining (Vor-Training)

Dabei lernt das Modell allgemeine Muster, Strukturen und Merkmale der Daten, ohne spezifisch für eine bestimmte Aufgabe trainiert zu werden. Dieser Prozess kann unüberwacht oder teilweise überwacht stattfinden, wobei das Modell eine Basis an Wissen aufbaut. Die gewonnenen Merkmale und Darstellungen werden in der Feinabstimmung (Fine-Tuning) für spezifische Aufgaben weiterverwendet. Pretraining ist besonders in der Verarbeitung natürlicher Sprache (z. B. bei Sprachmodellen wie GPT) und der Bildverarbeitung verbreitet und ermöglicht es, das Modell schneller und effizienter für spezialisierte Aufgaben zu trainieren.

Prompt-Erkennung

Identifizierung von Eingaben (Prompts), die zu sinnvollen Antworten führen. Bisher ist Prompt-Engineering für LLMs unerlässlich. Ein Anwendungsfall für Prompt Engineering ist die Erstellung einer Sammlung von Vorlagen und Assistenten zur Steuerung einer kommerziellen Anwendung zur Texterstellung.

Reinforcement Learning (Verstärktes Lernen)

Dabei lernt ein Modell, Entscheidungen zu treffen, indem es durch Interaktion mit der Umgebung kontinuierlich Feedback erhält. Reinforcement Learning eignet sich besonders für Szenarien, in denen ein Agent autonomes Verhalten entwickeln soll, beispielsweise in Spielen oder der Robotik. Bei der Abstimmung von Modellen wie GPT wird oft eine Kombination aus „Reinforcement Learning from Human Feedback“ (RLHF) verwendet. Die menschlichen Rückmeldungen werden genutzt, um die Ausgaben des Modells zu optimieren und gewünschtes Verhalten zu fördern.

Repetitive Prompts

Wiederkehrende Prompts sind eine Strategie, um KI-Modelle zu qualitativ besseren Ergebnissen zu führen. Dabei wird das Modell mit einer Reihe von Aufforderungen oder Fragen gefüttert, die auf früheren Antworten aufbauen und sowohl den Kontext als auch das Verständnis der KI verfeinern.

Sequenz-Modellierung

Ein Teilgebiet der maschinellen Sprachverarbeitung, welches sich mit der Modellierung von sequenziellen Daten wie Text, Sprache oder Zeitreihen beschäftigt. Z. B. ein Modell, das in der Lage ist, das nächste Wort in einem Satz vorherzusagen oder einen zusammenhängenden Text zu erzeugen.

Singularität

Im Kontext von KI ein hypothetischer Zeitpunkt in der Zukunft, an dem das technologische Wachstum unkontrollierbar und unumkehrbar wird. Diese auch als technologische Singularität bezeichnete Entwicklung könnte tiefgreifende und unvorhersehbare Auswirkungen auf die menschliche Zivilisation haben, da Maschinen eine Intelligenz und Innovationsfähigkeit erreichen, die die des Menschen übersteigt.

Stable Diffusion (Stabile Verbreitung)

Stable Diffusion bezeichnet eine Technik in der Bild- und Signalverarbeitung, die auf Diffusion Models basiert und besonders in der Generierung von Bildern durch KI verwendet wird. Stable Diffusion ermöglicht es, aus verrauschten Bildern oder zufälligen Punkten schrittweise ein realistisches Bild zu generieren. Dies wird häufig in kreativen KI-Anwendungen und zur Erzeugung von realistisch wirkenden Bildern genutzt.

Stacking

Bei dieser KI-Technik werden mehrere Algorithmen kombiniert, um die Gesamtleistung zu verbessern. Durch die Kombination der Stärken mehrerer KI-Modelle gleicht das Stacking die Schwächen jedes einzelnen Modells aus und führt zu genaueren und robusteren Ergebnissen in einer Vielzahl von Anwendungen, z. B. bei der Bilderkennung und der Verarbeitung natürlicher Sprache.

Text Mining (Textanalyse)

Bezieht sich auf die automatische Verarbeitung großer Mengen von Freiformtexten, um daraus Informationen zu extrahieren und den Text in eine strukturierte, standardisierte Form zu bringen. Dieser Prozess umfasst Techniken der Sprachverarbeitung (NLP) und zielt darauf ab, Muster, Zusammenhänge und Erkenntnisse aus unstrukturierten Textdaten zu gewinnen.

Text-to-Speech (TTS)

Diese Technologie wandelt geschriebenen Text in gesprochene Sprache um. Sie ermöglicht es Nutzern, sich geschriebene Inhalte laut vorlesen zu lassen, wobei in der Regel synthetische Sprache verwendet wird.

Tokenisierung

Dieser Prozess in der natürlichen Sprachverarbeitung (NLP) zerlegt Text in kleinere Einheiten, sogenannte Tokens. Diese Tokens können Wörter, Wortbestandteile oder sogar einzelne Zeichen sein, je nach Anwendung und Sprache. Beispiel: Tokenisierung des Satzes „Ich bin ChatGPT“ in die Wörter „Ich“, „bin“, „Chat“, „G“ und „PT“.

Transformer-Architektur

Stellt eine Art neuronale Netzwerkarchitektur dar, die für die Verarbeitung sequenzieller Daten wie Text entwickelt wurde. Die Transformer-Architektur lernt den Kontext und damit die Bedeutung. Sie wird in Modellen zur Verarbeitung natürlicher Sprache verwendet und erfordert erhebliche Rechen- und Speicherkapazitäten, da sie gleichzeitig auf den gesamten Eingabedatensatz zugreifen muss.

Unstrukturierte Daten

Alle Informationen, die nicht in einem vordefinierten Modell oder einer vordefinierten Struktur organisiert sind, was ihre Erfassung, Verarbeitung und Analyse erschwert.

Unsupervised Learning (Unüberwachtes Lernen)

Eine Art des maschinellen Lernens, bei der ein Modell auf unmarkierten Daten trainiert wird, um Muster oder Merkmale in den Daten zu finden. Beispiel: Ein Algorithmus für unüberwachtes Lernen, der ähnliche Bilder von handgeschriebenen Zahlen anhand ihrer visuellen Merkmale gruppieren kann.

Validierungsdaten

Ein Teil des Datensatzes, der beim maschinellen Lernen verwendet wird und von den Trainings- und Testdatensätzen getrennt ist. Sie werden verwendet, um die Hyperparameter eines Modells anzupassen.

Daten bestimmen unser Berufs- und Privatleben und nehmen weltweit immer weiter zu. Erfolgreiche KI-Strategien basieren auf zuverlässigen KI-Workloads an den Standorten und Rechenzentren, an denen neue Daten generiert, analysiert und ausgegeben werden. Daten müssen sich am richtigen Ort befinden, um in die KI eingespeist zu werden. Lesen Sie hier mehr über Daten als Treibstoff für KI-Modelle und KI-gestützte Erkenntnisse und sichere, dezentrale Datenstandorte. KI-Begriffe von A bis K finden sie in Teil 1.

Nachdenken über ITW 2023: Globale Konnektivität neu gedacht