<![CDATA[Commentaires du blog: Verticrawl : solution Moteur de recherche]]> http://blog-verticrawl.over-blog.com/ Les 25 derniers commentaires publiés sur le blog "Verticrawl : solution Moteur de recherche" fr http://fdata.over-blog.net/1/29/14/48/avatar-blog-1010994254-tmpphpySPRmd.gif <![CDATA[Commentaires du blog: Verticrawl : solution Moteur de recherche]]> http://blog-verticrawl.over-blog.com/ Fri, 20 Feb 2009 09:32:19 +0100 Fri, 20 Feb 2009 09:32:19 +0100 Over-blog.com RSS 2.0 Engine Hi Tech http://www.rssboard.org/rss-specification/ <![CDATA[Commentaire de verticrawl]]> http://blog-verticrawl.over-blog.com/article-18126250-6.html#comment29113506
Quand a IPTABLE, nous avons donnes des exemples d'IP de voila. IPTABLES fonctionne (heureusement)... Vous avez prorbablement un probleme de parametrage.

Quant aux IP de voila, ils n'en ont pas que 4.

Je vous invite tout de même a utiliser le fichier robots.txt qui reste la meilleure garantie de votre volonté de référencement chez Voila et de la vitesse de crawl que vous souhaitez leur imposer. S'ils ne la respecte pas, vous aurez toujours le plan B (à savoir Firewal / iptables).

Voila (c'est le cas de le dire:-) ) un retour d'expérience interessant. Merci M. Overblog de partager votre expertise sur ce blog...
]]> Sat, 05 Jul 2008 23:54:13 +0200 http://blog-verticrawl.over-blog.com/article-18126250-6.html#comment29113506 <![CDATA[Commentaire de Proceau]]> http://blog-verticrawl.over-blog.com/article-18126250-6.html#comment29093198
Je viens de reblacklisté, car apres le changement d'un firewall j'avais un jour de bonté en remettant la liste a 0

Je peux voir que cela n'a pas changer, ce soir et pour la 3eme fois, à partir de 0h05 voila débarque et aspire comme des dingues (j'ai aucun probleme ni avec google, ni msn)
et qu'on me dise pas que les crawl de voila soit intelligent, ils ont ete jusqu'a rendre indisponible (temps de reponse >5s) les pages de tout overblog ... IPTABLES au revoir.]]> Sat, 05 Jul 2008 01:14:42 +0200 http://blog-verticrawl.over-blog.com/article-18126250-6.html#comment29093198 <![CDATA[Commentaire de verticrawl]]> http://blog-verticrawl.over-blog.com/article-18126250-6.html#comment28324120
Nous ne nous occupons pas des problemes de Voilabot.. mais des problemes qu'il pose sur les sites de nous clients : C'est un article sur Voila pour les webmestres.

Par email, l'equipe Voila nous confirmait que la directive Crawl-Delay serait prise en compte en juin 2008 (soit 3 mois apres le message de ce blog).

L'adresse email support.voilabot@orange-ftgroup.com est presente dans nos logs depuis avril 2008 environ. Il existait auparavant une adresse sur le site Voila (support Voilabot) dont nous attendons encore les retours de message de 2007...

Quant à la volumetrie d'index de Voila ou Verticrawl... Posez donc la question à Larry Page ? et le débat sera clos.

Voyons donc nos remarques comme des éléments positifs d'intéret pour Voilabot. Car il n'y a rien de pire que l'ignorance du webmestre pour votre robot.
]]> Wed, 11 Jun 2008 15:59:45 +0200 http://blog-verticrawl.over-blog.com/article-18126250-6.html#comment28324120 <![CDATA[Commentaire de VoilaBot]]> http://blog-verticrawl.over-blog.com/article-18126250-6.html#comment25924411 - "Depuis quelques temps, de nombreux webmestres commencent à se plaindre de la vitesse de crawl (indexation) de Voila."
L'année 2007 a permis au moteur de recherche Voila d'augmenter de manière très significative le volume des documents indexés.
Il y a pu avoir des effets de bord malgrè les précautions qui ont étés prises.
Lorsque les informations nous sont remontées par un webmaster, nous en tenons immédiatement compte pour réduire la charge de nos crawlers.

- "Le site SITEFOO (exemple réel) a reçu la visite du crawler, sur son fichier robots.txt 7 fois en 6 secondes"
En effet, il se peut que par phénomène de vague, le fichier Robots.txt soit crawlé de manière un peu intensive (ca ne réprésente quand meme qu'une requette http par seconde. En général, les serveurs web savent l'absorber). Pour soulager la charge réseau, le crawl "intensif" des robots.txt sera corrigé à la mi-2008.

- "Moralité : Ce cas d'appel multi-fichiers est (hélas) aussi présent sur des fichiers web."
Seuls les fichiers robots.txt peuvent être affectés par ce problème. Normalement (à moins d'un cas extrèmement particulier), un même fichier web ne peut être appelé de manière consécutive par nos crawlers.

- "C'est là que l'on peut réellement considérer VoilaBot comme un aspirateur."
VoilaBot n'est pas un aspirateur, mais le processus de crawl du moteur de recherche Voila.

- "A n'en pas douter, Les ingénieurs ont un léger (gros) problème de sérialisation des processsus... Bon courage !"
Les problèmes dont vous parlez n'ont rien avoir avec une sérialisation des processus. Nous vous remercions de vous pré-occuper de nos problèmes.

- "Comment ralentir VoilaBot :"
Il existe une manière plus simple de ralentir le crawl de VoilaBot. Il s'agit d'utiliser la directive Crawl-Delay contenue dans le fichier Robots.txt . Nous prenons en compte cette valeur pour "réduire" la vitesse de Crawl.


- "C'est bien dommage qu'un moteur Français ne prête pas plus attention au respect des sites qu'il indexe. "
Voila prête une attention toute particulière aux webmasters. Une adresse mail support.voilaBot est d'ailleurs en cours de création pour permettre un meilleur contact avec eux. Dès qu'elle sera disponible, cette adresse mail sera incluse dans l'entête http des processus de Crawl.

- "Sans être démagogique, c'est un point sur lequel nous portons toujours notre attention quand nous lançons VerticrawlBot."
Voila ne se permettra pas de rentrer dans une critique à l'encontre d'un autre processus de crawl quel qu'il soit. Une remarque néanmoins, les problématiques que Verticrawl et Voila peuvent rencontrer ne sont pas du tout du même ordre de grandeur (volumétrie).

Bien cordialement


]]> Fri, 28 Mar 2008 16:35:53 +0100 http://blog-verticrawl.over-blog.com/article-18126250-6.html#comment25924411 <![CDATA[Commentaire de verticrawl]]> http://blog-verticrawl.over-blog.com/article-12827216-6.html#comment21586671
Si nous avons redigés cet article, c'est aussi parce que les régies ne nous semble pas très "customer oriented", d'une part et d'autre part, parce qu'il faut que les marchands sachent à qui ils s'adressent quand ils approchent une régie.

Pour ce qui est de la redirection,un petit rappel s'impose :

301 Moved Permanently Document déplacé de façon permanente
302 Moved Temporarily Document déplacé de façon temporaire

Une redirection 301 est un vrai backlink donné à la régie..alors qu'un 302 est backlink temporaire. Attention cette analyse n'est correcte QUE parce que G00gle calcule son le PR à période régulière (+/-longue). Dans tous les cas, vous faites de l'évasion pure et simple vers la régie.

Rappel protocole http : Dans les 2 cas, l'entete http 3xx doit contenir un "location :"..c'est donc toujours un lien indexable par un moteur généraliste.

INFO TECHNIQUE  :
Astuce technique pour découvrir le contenu d'un tracker de régie : (vous allez voir, c'est drôle)

Dans votre command shell préféré (désolé nous parlons unix...) :

  wget -O montracker.htm http://maregie.com/ze_tracker.php

  puis observer le contenu du fichier ( more montracker.htm) .

Testez cela chez vos régies [préférées]... vérifiez... nous sommes sûr qu'un débutant en info aurait fait mieux dans bons nombres de cas (sic !).

On lance les paris :
   1) au moins 1 tracker de 1 régie va vous étonner ?
   2) Oui, elle fait partie des 3 plus présentes sur le marché !

 ]]> Thu, 18 Oct 2007 20:02:53 +0200 http://blog-verticrawl.over-blog.com/article-12827216-6.html#comment21586671 <![CDATA[Commentaire de ludovic]]> http://blog-verticrawl.over-blog.com/article-12827216-6.html#comment21389787 "reglo" et les autres où tu n'existes pas, on te retire tes ventes sans justifications et on te paie quand tu réclames. bref, j'espère qu'avec le temps ces rapports vont d'améliorer car comme le dit netaffiliation (bonne régie), si pas d'affilié, pas de régie...
sinon j'ai une remarque technique où vousparlez de redirection des clics trackés, il semble que la plupart utilise des redirections 302 alors que du 301 serait bien plus efrficaces et même moins dangereuse.
En effet, j'ai des urls indexées de de tracking et ces urls sont justement en 302, ça craint non ?
Ludovic]]> Thu, 11 Oct 2007 12:05:18 +0200 http://blog-verticrawl.over-blog.com/article-12827216-6.html#comment21389787 <![CDATA[Commentaire de Nicooo]]> http://blog-verticrawl.over-blog.com/article-12827216-6.html#comment21220101 Je trouve cet article intéressant, même si je vous avoue que je vais mettre le côté technique de côté!

Ce que je sais, c'est que de notre côté (NetAffiliation) d'un point de vue purement commercial nous considerons autant l'affilié que l'annonceur, car sans affilié il n'y aurait pas d'annonceurs...l'inverse est vrai aussi.

C'est d'ailleurs la politique de l'entreprise, nous avons un service specialement pour les affiliés, de celui qui gagne 1€ par mois à celui qui en gagne 30000€, où nous repondons à TOUTES leurs questions, de comment faire un copier/coller à comment modifier le tag pour l'adapter...

Nous sommes constamment en relation avec les affiliés, par mail, telephone, et msn, et tissons des relations constantes pour optimiser nos partenariats!

Enfin, je trouve facile sur l'article de dire que beaucoup profitent des largesses des problemes de tracking, car pour nous autant que vous, un mauvais tracking ou des problemes nous font perdre de l'argent, pour nous il faut bien evidemment mieux que toutes les ventes soient trackées (nous faisons aussi de nombreux tests pour verifier, et je peux vous assurer que tout est ok...reste les problemes de suppresison de cookies...

 Voila, je ne peux pas parler pour les autres regies, car je ne les connais pas assez, mais en tout cas chez nous ce n'est pas comme ça! (même si tout ne doit pas être parfait j'en conviens).

Nicooo

]]> Fri, 05 Oct 2007 17:22:03 +0200 http://blog-verticrawl.over-blog.com/article-12827216-6.html#comment21220101 <![CDATA[Commentaire de Fréderic]]> http://blog-verticrawl.over-blog.com/article-12241928-6.html#comment20573217
Si j'ai bien compris, cela ne remplace pas les régies de mot clés genre adsense ou overture : donc je conserve mes revenus actuels et je vend mes propres espace pub au prix que je fixe.

simplement génial !]]> Sat, 08 Sep 2007 09:50:02 +0200 http://blog-verticrawl.over-blog.com/article-12241928-6.html#comment20573217