Oct 22 2022

Comment j’ai drastiquement réduit le temps de réponse d’un count(*) sur une View Mysql

Après des années à ne pas comprendre pourquoi le count(*) était aussi long sur ma base à partir du moment où je la comptais à partir d’une View, j’ai drastiquement accéléré la requête. Quand je dis drastiquement je suis passé d’une dizaine de seconde à du quasi instantané et la consommation mémoire de la base a chu. L’analyse me montrait que le count(*) de la table principale de la view se faisait sur l’index alors que le count(*) sur la view déclenchait un full scan.

Dans un premier temps j’ai réécrit la view pour passer de jointures à gauche en étoile à des jointures en cascade, au passage un jointure à gauche est devenu une jointure normale. Cette modification améliorait un chouia le temps de réponse mais pas de manière transcendante.

Puis je suis tombé sur un article qui expliquant que l’opimiseur Innodb lors d’un count(*) n’utilisait pas le primary index, la répartition de celui-ci n’étant pas optimal, s’il y a un secondary index c’est celui-ci qui est utilisé sinon l’optimiseur cherche à déterminer quelle est la meilleur colonne pour le count(*).

Je n’y croyais pas mais effectivement le rajout d’un index « qui ne sert à rien mais sur une colonne petite » (dans mon cas le code postal) a suffit pour obtenir un temps de réponse canon pour le count(*) sur ma table de plus de 2 millions d’enregistrement.

Un grand Merci à Aaron Francis pour son éclairant article Is COUNT(*) slow in MySQL?

Poster le premier commentaire

Sep 11 2022

Fonctionnement chromium et firefox sur Debian bullseye

Publié par dans ça peut servir

Un petit témoignage au cas où, mon poste de travail principal est un viel acer e261 avec une carte HD5450. Donc pour le moins ça commnece à dater.

Lors de la dernière mise à jour de Debian (11.4)  j’ai constaté que firefox ne se lançait plus (fenêtre noire) et que chromium se lançait mais était lent et ça finissait par un blocage complet de l’interface graphique. La solution pour les deux a été de désactiver dans les menus (après lancement de firefox en safe-mode et pour chromium en disable-gpu) l’accélération graphique. Et là firefox fonctionne et chromium fonctionne en étant de plus très fluide.

Je suppose que l’on a une collision entre le serveur X et les navigateurs dans l’utilisation de l’accélération matériel. je n’ai pas cherché plus loin mais j’ai bien un soucis à ce niveau qui peut expliquer des dysfonctionnement de Wine. Le réglage donnant une navigation aussi rapide que sous windows voir plus rapide je m’en contenterai.

Maintenant le denier truc agaçant est le temps de boot extlinux qui est devenu très lent et deux disque sur une carte sata asmedia qui ne sont pas vu par linux depuis le passage en bullseye. je pense que les deux sont liés. Le blacklistage du module AHCI permet de retrouver un boot normal mais les deux disques sont toujours inaccessibles.

Un commentaire

Sep 03 2022

attaques sur un des blogs

Publié par dans Non classé

Après des semaines de tranquilité où les messages de fail2ban étaient quasi absents, un de mes blogs fait l’objet d’un assaut. Bien sur c’est wp-login.php et xmlrpc.php qui sont testé. Ce qui est nouveau c’est que l’attaque a démarré brutalement avec plus d’une cinquantaine d’adresses IP.

Il va peut être falloir que je passe ce blog privé en maintenance quelques jours le temps que l’attaque passe. La précédente avait vu le même site bombardé pendant 6 mois. A suivre donc.

Donc les conseils c’est bien sur de faire toutes les dernières mises à jour du système et de wordpress, de changer l’admin par défaut et de supprimer l’utilisateur admin, vérifier systématiquement les inscriptions sur le blog, supprimer les extensions inutiles. Mettre en place fail2ban et prendre le temps d’inventer ses propres filtres, ajouter l’extension login lock-down.

par exemple avec fail2ban bannir les adresses qui ouvrent xmlrpc.php plusieurs fois sur une période donnée.

Poster le premier commentaire

Avr 18 2022

Arnaque sur E-Bay/Paypal impossibilité de porter plainte

Publié par dans coup de gueule

Il y a près d’un an, j’ai acheté sur ebay un SSD 1T0. Le produit est nickel mais j’ai eu quelques erreurs d’écritures, comme le produit n’était pas très cher j’ai contacté le vendeur qui m’a dit d’écrire des fichiers plus petits. J’aurais du insister pour faire reprendre le SSD, sur le coup j’ai été un peu concon.

Depuis après avoir fait plusieurs formatage j’ai eu la curiosité d’ouvrir le fameux SSD et j’y ai vu un composant (inscription quasi effacée) qui s’est avéré être un chips de mémoire flash Sandisk  de 64Go. Donc j’avais acheter un disque flash « reprogrammé pour annoncer qu’il avait 1To. De la pure tromperie.

Depuis bien sur le vendeur a disparu et ne répond plus aux mails, donc impossible de faire une réclamation sur ebay. Il faut réagir vite, très vite sur Ebay. Sur paypal c’est un chemin de croix pour enregistrer une réclamation et j’en suis à 4 tentatives qui se concluent par une déconnexion. Pour l’instant c’est service moins moins pour les deux.

La leçon à retenir de l’affaire c’est que chaque achat de SSD ou clé USB sur Ebay ou Aliexpresse devrait faire l’objet dès réception d’un passage par l’utilitaire chipgenius, afin de vérifier si on est face à une arnaque.

Poster le premier commentaire

Sep 26 2021

un peu de downtime (passage en BullsEye)

Publié par dans Non classé

bonjour,

Aujourd’hui une petite coupure suite au passage en Debian 11 (BullsEye). Au passage j’avais un paramétrage lighttpd qui n’était pas correct et deux modules PHp qui ne se sont pas isntallé. Mais pour un passage en version majeur ce n’est pas mal, il faudra que je regarde les trace d’erreurs mais ça me semble globalement fonctionnel.

Poster le premier commentaire

Jan 02 2021

un nouveau queryline ? portles.net

Publié par dans coup de gueule

Et oui un spamer chasse l’autre,

Une autre de mes adresses techniques fais l’objet de spam, une dizaine par jour, avec bien sur des fausses listes de diffusions, exactement les mêmes méthodes que queryline. Le vice va plus loin puisqu’il y a aussi de faux URL dans l’entête X-List-Unsubscribe et que cette fois le service s’appuie sur du cloud amazon et un Registar (fournissseur de nom de domaines) américain. Donc encore plus loin dans le camouflage de ses activités illicites.

pour ceux qui veulent secouer un peu le cocotier  les méthodes en passant par le whois et dig sont toujours les mêmes et pour ceux qui veulent gagner du temps le formulaire du registar :

Sinon la morale de l’histoire c’est que les premiers floués ce sont les annonceurs qui payent pour l’envoi de ces mails totalement inutiles. Le plus drôle c’est quand on voit Allianz, Swisslife ou Lexus tomber dans ces pièges de débutant. S’ils aiment salir leurs marques ce n’est pas un problème.

Un commentaire

Avr 30 2020

Ce que disent les masques

Au cas où vous n’en seriez pas conscients tout discours maximaliste ne vise qu’à dédouaner celui qui le tient de sa responsabilité. L’exemple du lavage des masques est typique, la recommandation est dans la pratique inapplicable, faire une machine à laver tous les jours pour une dizaine de masques. Mais en cas de problème il permet de laisser le doute sur une origine liée à la non observation des règles.

Poster le premier commentaire

Déc 23 2019

Gdrive c’est sympa ….quand ça marche

J’utilise Google Drive pour partager des vidéo d’une caméra. Au début ça fonctionnait super, pas de soucis. Mais peu à peu j’ai eu de plus en plus souvent le message « impossible de lire la vidéo ». et toutes les manip que Google propose consiste à supprimer le compte ou le cache sur l’appareil. Mais lorsque tous les appareils sont concernés ?

Ca me rappelle un strip de Dilbert https://dilbert.com/strip/2019-12-10

Et bien c’est que le problème est en amont. A noté que lors des téléchargement il faut parfois s’y prendre à plusieurs fois et qu’une fois la video téléchargés on peut effectivement la visionner. Donc le problème est bien dans Google Drive probablement des saturations soit réseau soit disque. Donc 15Go gratuit mais ça ne donne pas l’envie de payer pour plus.

 

Petit complément sur mon mobile j’ai ajouter VLC et sur Drive j’utilise la fonction ouvrir avec et là je peux lire la vidéo. Donc le pb est bien dans les applications google drive et peut être dans les traitements effectués par google au moment du dépôt des video. Le problème semble m’avoir touché le 19 décembre au matin.

mise à jour du 11 janvier.

Le problème de visualisation des vidéos semble corrigé .. mais maintenant c’est le délais d’affichage sur le Drive des fichiers transmis qui est long très long trop long. Et encore plus long sur les ressources partagées. il faut des heures voir des demi-journées pour retrouver les fichiers déposés.

Poster le premier commentaire

Déc 15 2019

Cron, sssmtp, Orange et Gmail

J’avais remarqué que les mails de cron émis par ssmtp vers mon compte gmail ne fonctionnait plus. Plus exactement les mails partaient sans anomalies mais n’arrivaient jamais. Sur mon VPS je suis passé à Exim et là après le bon réglage des SPF c’est nickel.

Dans le cadre de l’installation d’un raspberry sur un clé 4g il fallait oublier la configuration du SPF et revenir à une solution plus légère. Sur le net il y a pas mal de documentation concernant cette configuration mais toutes ne fonctionnent pour ce qui est du relais des messages du cron. La clé pour avoir un bon entête consiste au bon positionnement de Full Name de root, du revaliases de ssmtp et du passage à No de FromLineOvewwrite dans ssmtp.conf.

ce qui donne chez moi

pi@raspicam:~ $ more /etc/ssmtp/ssmtp.conf
#
# Config file for sSMTP sendmail
#
# The person who gets all mail for userids < 1000
# Make this empty to disable rewriting.
root=monmail@domain.tld
 
# The place where the mail goes. The actual machine name is required no
# MX records are consulted. Commonly mailhosts are named mail.domain.com
mailhub=smtp.orange.fr:465
useTLS=YES
authUSER=lemail@orange.fr
authPASS=lepass
 
# Where will the mail seem to come from?
rewriteDomain=orannge.fr
 
# The full hostname
hostname=raspicam
 
# Are users allowed to set their own From: address?
# YES - Allow the user to specify their own From: address
# NO - Use the system generated From: address
FromLineOverride=NO
 
pi@raspicam:~ $ more /etc/ssmtp/revaliases
# sSMTP aliases
#
# Format:       local_account:outgoing_address:mailhub
#
# Example: root:your_login@your.domain:mailhub.your.domain[:port]
# where [:port] is an optional port number that defaults to 25.
root:monmail@orange.fr:smtp.orange.fr:465
pi:monmail@domain.tld:smtp.orange.fr:465
 
pi@raspicam:~ $ grep root /etc/passwd
root:x:0:0:raspicam,,,:/root:/bin/bash

la modification de du full name se fait pas sudo chfn -f ‘le pseudo’ root

Poster le premier commentaire

Juil 08 2019

Un peu de downtime (passage de stretch en buster)

Publié par dans bidouille,Informatique

Et oui le passage dans la nouvelle version stable de Debian ne s’est pas fait sans douleur 🙂

Mais elle me permettra de soumettre à fail2ban le flux ipv6.

La source du problème a été les modification de lighttpd notamment le changement de noms des helper en perl. Le deuxième problème était lié à des nouveau contrôles dans le lighttpd.conf livré.

Les réglages de la section parseopts sont visiblement trop contaignants et sont incompatible avec l’url rewiting que j’utilise.

Poster le premier commentaire

Entrées antérieures »


Hébergement 1&1 Dual essentiel 53 requêtes en 0,102 secondes.