糖心vlog官网观看

In diesem Modul lernen wir das MapReduce-Paradigma kennen und erfahren, wie es zum Schreiben verteilter Programme verwendet werden kann, die Daten in Form von Schl眉ssel-Wert-Paaren analysieren. Ein MapReduce-Programm wird 眉ber benutzerdefinierte Map- und Reduce-Funktionen definiert. Wir lernen, wie man solche Programme in den Projekten Apache Hadoop und Spark schreibt. DasMapReduce-Paradigma kann verwendet werden, um eine Vielzahl von parallelen Algorithmen auszudr眉cken. Ein Beispiel, das wir untersuchen werden, ist die Berechnung der TermFrequency - Inverse Document Frequency (TF-IDF)-Statistik, die beim Document Mining verwendet wird; dieser Algorithmus verwendet eine feste (nichtiterative) Anzahl von Map- und Reduce-Operationen. Ein weiteres MapReduce-Beispiel, das wir untersuchen werden, ist die Parallelisierung des PageRank-Algorithmus. Dieser Algorithmus ist ein Beispiel 蹿眉谤 iterative MapReduce-Berechnungen und steht auch im Mittelpunkt des mit diesem Modul verbundenen Miniprojekts.

In diesem Modul lernen wir die Client-Server-Programmierung kennen und erfahren, wie verteilte Java-Anwendungen 眉ber Sockets miteinander kommunizieren k枚nnen. Da die Kommunikation 眉ber Sockets auf der Ebene von Bytes erfolgt, lernen wir, wie man Objekte im Senderprozess in Bytes serialisiert und im Empf盲ngerprozess Bytes in Objekte deserialisiert. Sockets und Serialisierung liefern den notwendigen Hintergrund 蹿眉谤 das mit diesem Modul verbundene MiniprojektFile Server. Wir werden auch etwas 眉ber Remote Method Invocation (RMI) lernen, das den Begriff des Methodenaufrufs in einem sequenziellen Programm auf eine verteilte Programmierumgebung ausweitet. Au脽erdem lernen wir Multicast-Sockets kennen, die die Standard-Socket-Schnittstelle so verallgemeinern, dass ein Sender dieselbe Nachricht an eine bestimmte Anzahl von Empf盲ngern senden kann. Diese F盲higkeit kann 蹿眉谤 eine Reihe von Anwendungen sehr n眉tzlich sein, z.B. 蹿眉谤 Newsfeeds, Videokonferenzen und Multiplayer-Spiele. Schlie脽lich lernen wir verteilte Publish-Subscribe-Anwendungen kennen und erfahren, wie diese mit dem Apache Kafka Framework implementiert werden k枚nnen.

Begleiten Sie Professor Vivek Sarkar zu einem Gespr盲ch mit dem Gesch盲ftsf眉hrer von Two Sigma, Jim Ward, und dem Senior Vice President, Dr. Eric Allen, in deren B眉ro in Houston, Texas, 眉ber die Bedeutung der verteilten Programmierung.

In diesem Modul lernen Sie, wie Sie verteilte Anwendungen im SPMD-Modell (Single Program Multiple Data) schreiben k枚nnen, und zwar mit Hilfe der MPI-Bibliothek (Message Passing Interface). MPI-Prozesse k枚nnen Nachrichten mit Hilfe von Primitiven 蹿眉谤 die Punkt-zu-Punkt-Kommunikation senden und empfangen, die sich in Struktur und Semantik vom Message-Passing mit Sockets unterscheiden. Wir werden auch etwas 眉ber die Nachrichtenreihenfolge und die Deadlock-Eigenschaften von MPI-Programmen lernen. Die nicht blockierende Kommunikation ist eine interessante Erweiterung der Punkt-zu-Punkt-Kommunikation, da sie zur Vermeidung von Verz枚gerungen aufgrund von Blockierungen und zur Vermeidung von Fehlern im Zusammenhang mit Deadlocks eingesetzt werden kann. Schlie脽lich werden wir uns mit der kollektiven Kommunikation besch盲ftigen, die mehrere Prozesse auf eine Weise einbeziehen kann, die leistungsf盲higer ist als Multicast- und Publish-Subscribe-Operationen. Die in diesem Modul erworbenen MPI-Kenntnisse werden in dem mit diesem Modul verbundenen Miniprojekt zur Implementierung eines verteilten Matrixmultiplikationsprogramms in MPI in die Praxis umgesetzt.

In diesem Modul werden wir die Rolle von Prozessen und Threads als grundlegende Bausteine paralleler, gleichzeitiger und verteilter Java-Programme untersuchen. Mit diesem Hintergrundwissen lernen wir dann, wie man Multithreading-Server implementiert, um die Reaktionsf盲higkeit in verteilten Anwendungen, die mit Sockets geschrieben wurden, zu verbessern, und wenden dieses Wissen in dem Miniprojekt zur Implementierung eines parallelen Dateiservers an, der sowohl Multithreading als auch Sockets verwendet. Ein analoger Ansatz kann auch verwendet werden, um MPI und Multithreading zu kombinieren und so die Leistung von verteilten MPI-Anwendungen zu verbessern. Verteilte Akteure sind ein weiteres Beispiel 蹿眉谤 die Kombination von Verteilung und Multithreading. Eine bemerkenswerte Eigenschaft des Akteursmodells ist, dass dieselben High-Level-Konstrukte 蹿眉谤 die Kommunikation zwischen Akteuren, die im selben Prozess laufen, und zwischen Akteuren in verschiedenen Prozessen verwendet werden k枚nnen; der Unterschied zwischen den beiden F盲llen h盲ngt von der Anwendungskonfiguration und nicht vom Anwendungscode ab. Schlie脽lich lernen wir das reaktive Programmiermodell und seine Eignung 蹿眉谤 die Implementierung verteilter dienstorientierter Architekturen unter Verwendung asynchroner Ereignisse kennen.

Die n盲chsten beiden Videos zeigen, wie wichtig es ist, etwas 眉ber parallele Programmierung und gleichzeitige Programmierung in Java zu lernen. Professor Vivek Sarkar wird bei Two Sigma mit Fachleuten aus der Industrie dar眉ber sprechen, wie die Themen unserer beiden anderen Kurse in der Praxis eingesetzt werden.