BI et Big Data _ Corrigé Epreuve final
Exercice 2: Big Data
Considérons un dossier HDFS nommé inputData qui
contient les fichiers suivants : Temperature1.txt,
Temperature2.txt et Temperature3.txt de tailles
1036MB, 513MB et 500MB respectivement.
Soit le programme MapReduce suivant exécuté sur les fichiers ci-dessus.
class MapperBigData extends Mapper<LongWritable, Text, Text, DoubleWritable> {
protected void map(LongWritable key, Text value, Context context) throws IOException,
InterruptedException {
String fields[] = value.toString().split(",");
String date = fields[0];
Double temperature = Double.parseDouble(fields[2]);
context.write(new Text(date), new DoubleWritable(temperature));
}
}
class ReducerBigData extends Reducer<Text, DoubleWritable, Text, DoubleWritable> {
@Override
protected void reduce(Text key, // Input key type
Iterable<DoubleWritable> values, // Input value type
Context context) throws IOException, InterruptedException {
double maxTemp = Double.MIN_VALUE;
for (DoubleWritable temperature : values) {
if (temperature.get() > maxTemp) {
maxTemp = temperature.get();
}
}
context.write(key, new DoubleWritable(maxTemp));
}
}
1. Quel est l’objectif du ce programme MapReduce?
Le programme MapReduce détermine la température maximale dans le jour
Mapper : lit chaque ligne, extrait la date et la température, puis émet (date, température).
Reducer : pour chaque date, calcule la température maximale parmi les valeurs reçues,
puis émet (date, température_max).
2. Donner le couple (clef, valeur) à identifier par ce programme MapReduce
a. (date, température).
3. Décrire le traitement du programme MapReduce sur le fichier d’entrée.
1. Split(Découper): Qui découpe les données d’entrée en des fragments. 1pts
a. 2016/01/01,00:00:00,0.0
b. 2016/01/01,00:00:05,-1
