Blog de l'équipe de Polytechnique.org

Aller au contenu | Aller au menu | Aller à la recherche

mercredi, novembre 16 2016

Rejets d'emails sur les redirections fin octobre 2016

Comme indiqué dans la lettre exceptionnelle que nous avons émise courant novembre 2016, nous avons rencontré une perturbation sur les redirections des adresses polytechnique.org entre le 26 et le 31 octobre. Il s'agit d'un problème tout à fait distinct de celui mentionné dans la lettre d'octobre qui n'avait, lui, occasionné que des retards.

En effet, certains fournisseurs d'emails (SFR, Orange, Laposte et, dans une moindre mesure, Free) ont décidé de rejeter plus largement les emails qui leur étaient envoyés par notre serveur.

Lors de ce transfert, ces fournisseurs appliquent un anti-spam qui peut rejeter les emails considérés comme indésirables (ceux-ci sont alors perdus, pas simplement placés dans une catégorie différente). Cet anti-spam serveur utilise en bonne partie une notion de réputation informatique, qui compte pour part importante dans l'algorithme. Ceci ne pose généralement pas de problème, nos serveurs disposant habituellement d'une bonne réputation. Néanmoins, pendant la période en question, pour une raison encore en cours d’investigation mais probablement suite à une dégradation de cette réputation, ces anti-spam ont été jusqu'à rejeter près de la moitié des emails que nous leur transmettons.

De nombreux facteurs sont impliqués dans le calcul de cette réputation, mais majoritairement, c'est le fait qu'un email accepté soit par la suite classifié comme spam (par l'utilisateur ou par un algorithme) qui dégrade la réputation d'un serveur. Si celui-ci envoi trop d'emails indésirables, sa réputation diminue et l'anti-spam se fait alors plus drastique.

Dans le cadre d'un service de redirection, c'est particulièrement complexe, car nous sommes considérés comme émetteurs de tous les emails que nous redirigeons. Ainsi, si quelqu'un envoie un spam à une adresse polytechnique.org, et que par la suite nous le redirigeons vers une adresse orange.fr, du point de vue de l'hébergeur Orange, nous sommes l'émetteur.

C'est en partie pour cette raison que, dans le réglage recommandé de notre anti-spam personnel, nous filtrons les messages les plus certainement indésirables, et rajoutons un tag pour ceux dont nous sommes moins sûrs. Cela réduit la proportion d'emails indésirables transmis, et donc améliore la réputation de nos serveurs.

Cela étant, sur la période du 26 au 31 octobre, nous avons pu constater des taux de rejet très importants, résultant en de nombreux faux positifs rejetés. Dans le détail, SFR est monté jusqu'à 55% de rejet, Orange à 45% et laposte.net à 40%. Free a aussi vu son taux de rejet monter à 15% le 26 et 27 octobre, et était donc impacté, quoique dans une moindre mesure.

Ce problème est désormais résolu. Néanmoins, nous nous employons à en identifier les causes pour qu'il ne puisse plus se reproduire à l'avenir. Il est possible que nous ayons laissé passer une vague de spam non-détectée, ou bien qu'un fournisseur de réputation ait décidé de dégrader notre note. Quoi qu'il en soit, le problème s'est résolu naturellement à la fin du mois.

Reste la problématique des emails perdus pendant cette période. Du côté de l'hébergeur, pas d'espoir : les emails étaient simplement rejetés. Cela étant, dans un tel cas, l'émetteur de l'email reçoit une notification de rejet+ (un message envoyé par "mailer-daemon").

Nous offrons cependant un service palliant ce genre de difficultés : le service de stockage de secours, qui stocke une copie des emails transitant par nos serveurs sur ces derniers, pour une période d'environ 30 jours. Ainsi, les camarades qui ont activé ce service (il n'est pas activé par défaut, vu les implications potentielles en terme de vie privée) peuvent récupérer leurs emails perdus dessus (et ce même pour les mails dont l'expéditeur a reçu une notification de rejet).

Autre solution, pour ceux utilisant plusieurs redirections, les emails filtrés ne sont pas les mêmes partout et certains hébergeurs (notamment Gmail) n'ont pas été affectés du tout, permettant donc de récupérer tous les emails perdus sans limite de durée.

dimanche, novembre 30 2014

Perturbations de novembre 2014

Au cours du mois de novembre 2014, les serveurs de Polytechnique.org ont subi plusieurs perturbations :

  • Lundi 3 soir, une attaque par déni de service sur le service de transmission des mails (MX) a retardé de quelques heures l'acheminement des mails. Une fois l'attaque bloquée, le retard s'est résorbé sur toute la nuit. Beaucoup de camarades ont signalé des problèmes d'acheminement de mails à contact@polytechnique.org à cette occasion et l'équipe leur a répondu.
  • Mardi 4 après-midi le PDU (Power Distribution Unit) de notre baie de serveur a été remplacé. Ceci a entrainé une coupure de l'alimentation électrique des serveurs de 4h et donc une interruption partielle des services. Plus précisément, l'acheminement des mails personnels ("redirection @polytechnique.org") a été pris en charge par le serveur que l'association loue à OVH, et une version en lecture seule de l'annuaire a été activée sur ce serveur, permettant la consultation des fiches de profil mais pas leur mise à jour. De plus, les listes de diffusion étant centralisées sur un serveur à l'école, celles-ci n'étaient plus disponibles lors de la coupure et les mails ont simplement patienté chez OVH le temps que la coupure se finisse.
  • Mercredi 19, le câblage réseau des serveurs a été changé. Cette intervention de la DSI de l'école fait suite à des problèmes de connectivité à ssl.polytechnique.org (pour le service d'envoi de mail sécurisé "SMTPS") ainsi qu'à certains sites (http://else.polytechnique.org/ et http://wikix.polytechnique.org/). Depuis cette intervention aucun problème de connectivité n'a été signalé.
  • Mardi 25 après-midi la DPI de l'école a testé les arrêts d'urgence pour la coupure des énergies en cas de départ de feu. Les serveurs situés à l'X ont été coupés de 14h à 17h, entrainant une interruption de services similaire à celle du mardi 4. Malheureusement lors de cette intervention aucun membre de Polytechnique.org n'a pu être présent sur place et la coupure violente qu'ont subie les serveurs a pu entrainer des pertes intraçables de mail ainsi que des corruptions de la base de données. Même si les dégâts occasionnés concernent peu de personnes, l'association reste sensible à la qualité de services et fait au mieux compte tenu des contraintes imposées par la gestion des salles machines.

Ainsi, le mois de novembre 2014 a été particulièrement perturbé. Le mois de décembre devrait être plus calme, mais la fin du mois sera marqué par la fin des travaux qui ont lieu dans la salle serveur depuis septembre. Ceci signifie que les serveurs devront être de nouveau éteint quelques heures (le temps de les déplacer dans la salle), un jour entre fin décembre et début janvier.

Par ailleurs, l'équipe de Polytechnique réfléchit à des moyens permettant de mieux informer les utilisateurs des interventions prévues. Pour l'instant la source d'information privilégiée reste la page des évènements du site (https://www.polytechnique.org/event...), sur laquelle un évènement décrivant l'intervention est publié quelques jours avant la date prévue.

lundi, février 24 2014

Confidentialité des données sur Polytechnique.org

Vous n'avez pas les droits suffisants pour lire ce billet :
Vous devez vous authentifier

vendredi, août 13 2010

Yuuai est mort, vive Yuuai !

À la fin du mois de juin, "Yuuai", notre fidèle serveur mail principal, a commencé à donner des signes de faiblesse au bout de 5 années de service actif. En quelques jours, il a rendu son âme d'ordinateur. Yuuai est mort. Il était le deuxième du nom.

Début août notre nouveau serveur est arrivé, et admis au service actif le 13 août. Vive Yuuai!

Lire la suite...

dimanche, février 22 2009

Migration des services vers un nouveau serveur

Samedi 21 février, nous avons migré nos services depuis notre ancien serveur de production (djali) vers un nouveau serveur plus puissant (svoboda), acheté grâce à la générosité de nos camarades -- merci à tous ceux qui ont fait un don !

Les sites web Polytechnique.org et Polytechnique.net sont désormais plus réactifs et agréables à utiliser. Nous pouvons également acheminer plus rapidement les emails vers les grosses listes de diffusion et lutter plus efficacement contre le spam.

La migration devait s'effectuer de 14h à 20h. Seuls les forums n'ont pas été entièrement transférés dans ce délai. La migration s'est passée sans problèmes majeurs. Elle s'est accompagné de brèves coupures de services, la plus longue ayant été celle du site web, hors-ligne pendant environ une heure et quart. Les services de mail n'ont pas subi d'interruption ; les envois sur les listes de diffusion ont été retardés d'environ une demi-heure.

Tous nos principaux services tournent maintenant sur le nouveau serveur. Il ne reste sur l'ancien que le serveur DNS principal de nos domaines et l'outil de support, qui sera migré bientôt. Ensuite, nous installerons sur djali la gestion des journaux d'activité et la supervision, afin de remplacer un serveur nommé mnemosyne. Ce dernier remplacera murphy, le serveur de développement, qui sera mis en retraite définitivement, achevant le rajeunissement de notre parc.

Bonne navigation sur notre site web !

samedi, janvier 3 2009

Bilan des développements de l'année 2008

2008 a été une année très active pour Polytechnique.org et a vu apparaître plusieurs nouveautés :

  • la sauvegarde d'emails, optionnelle, permet d'accéder à une copie de ses emails des 30 derniers jours, en particulier pour retrouver un email perdu à cause d'un antispam trop violent ou tout simplement d'une erreur de manipulation. Activation de la sauvegarde d'emails.
  • des sites webs éditables au format wiki en remplacement des anciens Diogènes.
  • un GoogleApps pour Polytechnique.org qui permet de disposer des applications web de Google (GMail, Google Calendar, Google Docs, et bien d'autres) sur l'adresse Polytechnique.org habituelle.
  • une réorganisation du code pour pouvoir être utiliser plus aisément par des tiers tels les Gadzarts et le site des élèves.
  • une authentification centralisée standardisée est maintenant proposée par Polytechnique.org, l'OpenId. Cela permet de t'identifier sur les sites qui supportent ce standard. Pour l'utiliser, il suffit de rentrer "polytechnique.org" comme identifiant OpenId sur un site tiers.
  • Polytechnique.org propose désormais des blogs comme celui-ci aux groupes X, après une période de tests nécessaire. Pour en avoir un, il suffit de nous contacter.

En plus de ces nouveautés visibles, il y a eu de nombreuses avancées sur le site web pour préparer les objectifs de 2009 qui sont :

  • la, tant de fois promise, fusion des annuaires de Polytechnique.org et de l'AX pour améliorer la qualité d'un annuaire des polytechniciens enfin unique ;
  • l'intégration des masters de l'X et des doctorants de l'X dans Polytechnique.org ;
  • des améliorations sur Polytechnique.net et Polytechnique.org pour mieux répondre aux attentes des groupes X;
  • une interface web pour accéder plus aisément aux sauvegardes d'emails.

Bonne année et meilleurs voeux à toutes et à tous !

dimanche, juillet 13 2008

Polytechnique.org intégre les services de Google Apps

Comme vous l'avez peut-être vu sur le site, ou dans la newsletter de mai, Polytechnique.org intègre maintenant les services de Google Apps. Mais pourquoi Google Apps ? Qu'est ce que ça implique pour Polytechnique.org ? Et est-ce que ça change quelque chose pour les X ?

D'abord, qu'est ce que Google Apps ?
C'est un service hébergé de Google (SaaS, Software as a Service, comme disent nos amis américains) qui met à disposition tous les produits de communication de Google sur notre propre domaine. Cela inclus par exemple le webmail GMail, la suite bureautique en ligne Google Docs, ou la messagerie instantanée GTalk. La version Premier de Google Apps est normalement payante, mais du fait de notre statut d'association d'anciens, nous bénéficions gratuitement de la version Education.

Pourquoi Google Apps ?
Tout simplement parce qu'un certain nombre de nos camarades n'ont pas de boîte mail avec une qualité de service acceptable ! Polytechnique.org vous offre un service de redirection mail de qualité, mais nous n'offrions pas jusque là de service de stockage des mails. Plutôt que d'offrir un tel service nous même, développé avec des ressources humaines insuffisantes pour cela et nécessitant une infrastructure bien plus importante que ce que nous avons pour pouvoir offrir un vrai service de qualité, nous avons choisi d'externaliser. D'autant plus que Google Apps arrive tout prêt et marche même lorsque le réseau de l'École, sur lequel nous sommes herbergé, décide de nous lacher !

Et ma vie privée hein ? Vous avez l'air d'oublier que Google = Satan !
Non, non, nous n'avons pas oublié ! D'ailleurs nous aussi nous sommes X, et nous nous sentons concernés pas la sécurité de nos informations ! Pour faire simple: Google n'a par défaut aucune information sur aucun Polytechnicien -- pas même le nom. Bien sûr, si tu choisis de profiter des services de Google Apps, et en particulier de la redirection des emails, Google aura accès à ces informations. Mais il n'en saura pas plus que si tu utilisais GMail, et pas plus que Microsoft ou Yahoo si tu utilisais leur service de messagerie !

Quelques liens

lundi, juin 9 2008

Blogs hébergés par Polytechnique.org

Comme indiqué par Aymeric, le blog de Polytechnique.org sert de "bêta test" à un service plus large qu'offrira d'ici quelques mois Polytechnique.org aux groupes X, voire à tous les X. Vous me direz : pourquoi Polytechnique.org hébergerait-il des blogs alors qu'il existe déjà des dizaines de services gratuits (ou payants) sur Internet ?

Depuis plusieurs années Polytechnique.org fournit un service d'authentification centralisée. Cette authentification est largement utilisée sur les sites de la communauté (sites hébergés sur Diogènes, site de l'AX, sites de La Jaune et la Rouge, sites de promotions, sites de groupes X...). Bref, cette authentification est un des points clés de Polytechnique.org (je pense que nous aurons l'occasion de revenir dessus sur ce blog).

Lire la suite...