糖心vlog官网观看

In diesem Modul erhalten Sie ein grundlegendes Verst盲ndnis der Architektur, des 脰kosystems, der Praktiken und der h盲ufig verwendeten Anwendungen von Apache Hadoop, einschlie脽lich des Distributed File System (HDFS), MapReduce, Hive und HBase. Dar眉ber hinaus erwerben Sie in praktischen 脺bungen praktische F盲higkeiten, wenn Sie die mit Hive hinzugef眉gten Daten abfragen, einen Single-Node-Hadoop-Cluster mit Docker starten und MapReduce-Jobs ausf眉hren.

In diesem Modul widmen Sie sich der beliebten Apache Spark-Plattform und lernen die Eigenschaften und Vorteile von Apache Spark und verteiltem Rechnen kennen. Sie erhalten wichtige Einblicke in die funktionale Programmierung und Lambda-Funktionen. Sie werden auch Resilient Distributed Datasets (RDDs), parallele Programmierung und Ausfallsicherheit in Apache Spark erkunden und RDDs und parallele Programmierung mit Apache Spark in Verbindung bringen. Dann tauchen Sie in weitere Apache Spark-Komponenten ein und erfahren, wie Apache Spark mit Big Data skaliert. Die Arbeit mit Big Data macht es erforderlich, mit Abfragen zu arbeiten, einschlie脽lich strukturierter Abfragen mit SQL. Sie lernen auch die Funktionen, Teile und Vorteile von Spark SQL und DataFrame-Abfragen kennen und erfahren, wie DataFrames mit Spark SQL funktionieren.

In diesem Modul lernen Sie Resilient Distributed Datasets (RDDs), ihre Verwendung in Apache Spark sowie RDD-Transformationen und -Aktionen kennen. Sie vergleichen die Verwendung von Datasets mit der neuesten Datenabstraktion von Spark, DataFrames. Sie werden lernen, grundlegende DataFrame-Operationen zu identifizieren und anzuwenden. Sie lernen die Apache Spark SQL-Optimierung kennen und erfahren, wie Spark SQL und die Speicheroptimierung von der Verwendung von Catalyst und Tungsten profitieren. Abschlie脽end vertiefen Sie Ihre Kenntnisse in einer gef眉hrten praktischen 脺bung zur Erstellung einer Tabellenansicht und zur Anwendung von Datenaggregationsverfahren.

In diesem Modul erfahren Sie, wie Spark die Anfragen verarbeitet, die Ihre Anwendung stellt, und wie Sie die Arbeit mit der Spark-Anwendungsschnittstelle verfolgen k枚nnen. Da die Arbeit von Spark-Anwendungen auf dem Cluster stattfindet, m眉ssen Sie die Apache Cluster Manager, ihre Komponenten und Vorteile kennen. Sie werden auch wissen, wie Sie sich mit jedem Clustermanager verbinden und wie und wann Sie eine lokale, eigenst盲ndige Spark-Instanz einrichten k枚nnen. Als N盲chstes lernen Sie die Einreichung von Apache Spark-Anwendungen kennen, einschlie脽lich der Verwendung der einheitlichen Schnittstelle von Spark, "spark-submit", und erfahren mehr 眉ber Optionen und Abh盲ngigkeiten. Sie werden auch Optionen 蹿眉谤 die Einreichung von Anwendungen beschreiben und anwenden, Techniken zur Verwaltung externer Anwendungsabh盲ngigkeiten identifizieren und die Vorteile von Spark Shell auflisten. Sie werden sich auch mit den empfohlenen Praktiken 蹿眉谤 die statischen und dynamischen Konfigurationsoptionen von Spark befassen und praktische 脺bungen durchf眉hren, um Apache Spark auf IBM Cloud zu verwenden und Spark auf Kubernetes auszuf眉hren.

Plattformen und Anwendungen m眉ssen 眉berwacht und abgestimmt werden, um Probleme zu bew盲ltigen, die unweigerlich auftreten. In diesem Modul lernen Sie, wie Sie den Webserver der Apache Spark-Benutzeroberfl盲che anschlie脽en und denselben UI-Webserver zur Verwaltung von Anwendungsprozessen verwenden. Sie werden auch h盲ufige Probleme mit Apache Spark-Anwendungen identifizieren und lernen, wie Sie Probleme mit der Benutzeroberfl盲che der Anwendung beheben und die entsprechenden Protokolldateien finden. Dar眉ber hinaus lernen Sie im praktischen Labor, wie Spark Speicher- und Prozessorressourcen verwaltet, und erwerben praktische Kenntnisse dar眉ber.

In diesem Modul f眉hren Sie ein Praxislabor durch, in dem Sie zwei wichtige Aspekte der Datenverarbeitung mit Spark erkunden: die Arbeit mit Resilient Distributed Datasets (RDDs) und die Erstellung von DataFrames aus JSON-Daten. Sie werden auch verschiedene Transformationen und Aktionen auf RDDs und DataFrames anwenden, um Erkenntnisse zu gewinnen und die Daten effektiv zu bearbeiten. Au脽erdem wenden Sie Ihr Wissen in einem Abschlussprojekt an, in dem Sie einen DataFrame erstellen, indem Sie Daten aus einer CSV-Datei laden und mit Spark SQL Transformationen und Aktionen anwenden. Abschlie脽end werden Sie auf der Grundlage Ihrer Kenntnisse aus dem Kurs bewertet.