Big data sous R avec le package rmr

La prochaine séance du groupe R aura lieu le 18 juin de 13:00 à 14:00 en salle 539 du bâtiment MK1 de l’INSEE, 18Bld Adolphe Pinard, 75014, Paris, accès par la rue Legrand à Malakoff, métro ligne 13, arrêt Porte de Vanves ou Malakoff plateau de Vanves. 

Bastien Riera nous présentera une illustration de traitement de données massives sous R avec le package rmr
 
Si ce que sous-tend le terme « Big Data » vous échappe, nous vous proposons une séance pédagogique, avec bien sur des illustrations sous R. Le 18 juin, Bastien Riera nous présentera le travail qu’il avait réalisé chez Bluestone dans le cadre de son stage de fin d’étude à l’ENSAI :
– Rappel sur ce qu’est le Big Data
– Explication de la logique du MapReduce (cadre algorithmique des traitements Big Data)
– Illustration sous R avec le package « rmr »
– Le tout autour d’une analyse des tweets de la campagne présidentielle française de 2012
Il sera possible de suivre la prochaine réunion du groupe R depuis l’extérieur, de deux manières :
– en appelant par téléphone le 04 37 21 10 65 : avec le son mais sans l’image

– par visioconférence multipoints. Voici la procédure d’appel et les identifiants :

Pour les stations visioconférence de l’INSEE à partir de votre station, composer à l’aide de la télécommande le 6624 et lancez l’appel en IP.
Pour les stations extérieures (hors INSEE)Le site extérieur composera à l’aide de la télécommande le 0320161487##6624 et lancera l’appel.

3 réflexions au sujet de « Big data sous R avec le package rmr »

  1. Bonjour,

    J’ai une question pour Bastien sur la programmation mapreduce. En fait, je voulais savoir la signification du point qu’on peut retrouver des fois dans les fonctions map ou reduce. Exemple map=function(.,v).

    Merci!

  2. Bonjour,

    Pour répondre à SOUMAYA BEN HASSINE :
    Si vous parlez des points de la slide 14 : il s’agit d’une convention d’écriture pour signifier la réalisation de traitements non spécifiés dans le code. La slide 14 ne servant qu’à introduire le fait que les fonctions map et reduce se spécifient de la même manière que n’importe qu’elle fonction dans R. Et que l’on peut y exécuter n’importe quel traitement R, d’où les « … » .
    Sinon j’emploie des points dans certains noms d’objets comme en slide 43 : « v.left » ou encore « right.input ». Ici le point ne sert qu’à définir le nom de l’objet. J’aurais pu employer le caractère « _ » pour harmoniser les conventions d’écriture de ma présentation et éviter ainsi la confusion.

    En espérant avoir répondu à votre question.
    Cordialement,
    Bastien Riera

    • Complément de réponse :

      Et si vous vouliez parler des exemples du site de RevolutionAnalytics (comme sur cette exemple : https://github.com/RevolutionAnalytics/rmr2/blob/master/pkg/tests/logistic-regression.R )

      Dans ce cas le point sert d’argument aux fonctions Map et Reduce.
      Le lien précédent montre une implémentation de régression logistique où l’on peut trouver la fonction Map suivante :
      lr.map =
      function(., M) {
      Y = M[,1]
      X = M[,-1]
      keyval(
      1,
      Y * X *
      g(-Y * as.numeric(X %*% t(plane))))}

      Il faut savoir que toutes fonctions Map et Reduce prennent comme argument une clef et une valeur. Quand bien même ces arguments ne sont pas utilisés dans le corps de la fonction, ils doivent être spécifiés lors de la définition de la fonction Map ou Reduce. Ici la clef (le premier argument) n’est pas utilisée, elle est donc spécifiée avec un « . » qui n’est autre qu’un paramètre vide.

      Il s’agit juste d’une convention d’écriture de l’auteur de la fonction lr.map afin que cette fonction Map correspondent à l’architecture exigée des fonctions Map du package rmr2.

      En espérant avoir répondu cette fois à votre question.
      Cordialement,
      Bastien Riera

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s