Je viens de finir une petite mise à jour pour serposcope qui apporte son lot de bugfix et quelques nouvelles fonctionnalités.
Tout d’abord il est maintenant possible de faire des recherches locales, c’est à dire voir les SERPs pour une ville/région donnée.
La home page affichera désormais le volume de mouvement dans les SERPs depuis différentes sources (moz, serp metrics, …). Très pratique pour détecter une mise à jour Google (panda, pingouin et compagnie). Plus d’info ici.
Serposcope est maintenant beaucoup plus tolérant face aux erreurs et aux proxies foireux, la rotation des proxies a été améliorée, il est possible d’éjecter (pour la session) les proxies qui déconnent… Bref c’est bien plus fiable et le scrap est beaucoup plus rapide.
Cette amélioration m’a permis d’apporter une nouvelle fonctionnalité: il est possible d’importer des listes de proxys depuis des sites webs, ces dernières étant récupérées et mises à jour avant chaque run (vous pouvez donc utiliser des listes de proxies publics).
Même si la liste de proxies est très mauvaise ( 0.1% de proxy valide par exemple), serposcope fonctionne très bien et éjectera automatiquement les proxies foireux. Il est nécessaire d’optimiser la conf si vous utilisez des listes de proxies assez mauvaises (proxies publics).
On peut rajouter des paramètres à l’url de recherche, par exemple tbs=qdr:d affiche les résultats apparues les dernières 24 heures, tbm=blg affiche les SERP de type blog…
Enfin d’autres petites modifications et bugfixes ont été apportés, voir le changelog serposcope exhaustif.
Nouveautés à venir
La gestion des utilisateurs : possiblité d’avoir des utilisateurs avec gestion des droits. Par exemple, pouvoir créer un utilisateur X qui n’a que le droit de voir (read-only) le group Y.
Tracking des concurrents : Je reflechie à la possibilité de tracker les positions de tous les sites et pas seulement un domaine donné. Par exemple, imaginons que vous suiviez le mot clef “mutuelle” depuis 6 mois sur lequelle vous êtes premier. Un jour, vous perdez votre pole position. En conservant l’historique de toutes les positions pour un mot clef il sera possible d’afficher l’historique des positions de ce nouveau numero 1 (ou n’importe quel autre) sur les 6 derniers mois.
Le problème de cette fonctionnalité est qu’elle nécessite de scrapper totalement les SERPs (10 pages) pour un mot clef donné alors que lorsque l’on est dans le top 10 scrapper 1 page suffit, top 20, 2 pages… Conséquences : la durée du scrap est rallongée et les proxies sont flagués plus rapidement. Ça prendra également + de place dans la BDD (ou ailleurs) pour conserver cette historique, mais ça reste très faible.
Scrap communautaire : Si nous sommes 10 utilisateurs à scraper le mot clef mutuelle, il serait intéressant de mettre en commun cette SERP. Ainsi le premier utilisateur qui scrap “mutuelle” upload les SERPs sur le serveur et les 9 autres utilisent cette version. On limite les requêtes vers Google, on grille beaucoup moins les proxies et ça va plus vite.
Bien entendu cette option pose des problèmes de confidentialités, beaucoup d’entre vous ne veulent certainement pas uploader les SERPs/mots clefs vers un serveur, même si personne ne pourra lister les SERPs présentent sur celui (on peut juste demander si la SERP du keyword X est disponible). C’est pourquoi cette option serait désactivé par défaut pour tous les mots clefs, mais il serait possible de l’activer pour chaque mot clef ou globalement.
Autre problème majeur que je rencontre avec cette fonctionalité : une personne malintentionnée pourrait uploader des fakes SERPs. Il faut donc que je reflechisse à un système de controle avant de mettre en place ce système, je pense à une tracabilité des SERPs uploadés (login et IP) et/ou à du double checking des SERPs…
Enfin, ça peut représenter pas mal de travail, il faudrait que j’ai une idée du nombre d’utilisateurs intéressés et des keywords qu’ils sont prêt à partager. S’il n’y a pas assez d’utilisateurs ou que les mots clefs sont trop différents, ça ne vaudra pas le coup. Je ferai un petit sondage à ce sujet avant d’implémenter cette feature.
Captcha : Gestion des services externes pour exploser les captchas (deathbycaptcha et co).
Progress Bar : Pour avoir une estimation du temps qu’il reste avant la fin d’un run.
Préférence d’affichage par groupe : On peut trouver l’affichage highcharts parfait pour un petit groupe de 4/5 mots clefs mais préferrer les tables classiques pour un group à 100 mots clefs.
SERP Volatility local : Tracker le volume de changement de ses SERPs, et pourquoi pas mettre en commun avec les autres utilisateurs pour détecter les mises à jours Google.
Puis encore d’autres trucs comme la VF, gestion d’ipv6…
N’hésitez pas à me faire part de vos idées/avis dans les coms ou sur le forum.