[REL] [FR] Allociné v2

Tistitoo · Post by **Tistitoo** » 2016-11-19 15:41:03

Retour d’expérience et un peu plus d'explications,

Après avoir remis la version 2.25,
essai sur plusieurs fiches (nouvelle ou ancienne), même message d'erreur à peine lancé le script.

j'ai pu contourné plus ou moins ce probleme en allant sur le site d'allociné avec FireFox !!

Ex: d'une fiche déjà récupéré,
Je copie l'adresse web du champ AMC dans firefox et la surprise, petit test pour savoir si je suis un bots
ou un humain. passé ce test j'arrive sur la page du film d'allociné, je lance le script Allocine_FR_v2 d"AMC,
a présent j'arrive à récupérer quelque champs mais pas la totalité !! je click sur l'onglet casting sur allociné,
je relance le script et Là j'arrive à récupéré les autre champs + les extras acteurs et actrices.Même manip
pour les extras photos du film, je click sur l'onglet Photo quand il y'en a.

Ex: d'une nouvelle fiche,
je fais une recherche sur allociné avec FireFox du titre du film, je copie l'adresse Dans le champ AMC,
je vais dans l'onglet casting sur allociné ou directement photo du film, puis je lance le script Allocine_FR_v2, et la aussi
j'arrive à récupéré les infos en totalité!!!

Conclusion:
Je suis obligé d'aller sur le site d'allociné, sur la page du film que je veux récupéré (passé le test de bots de temps à autre)
pour pouvoir exécuté, à peu près correctement le script !! ( IP Blacklisté ).

LeMoi · Post by **LeMoi** » 2016-11-19 18:04:57

Au passage, à mon dernier essai il y a 4 jours, aucun souci de mon côté, j'ai oublié de le dire, merci Raoul ^^

Tistitoo · Post by **Tistitoo** » 2016-11-20 11:23:07

Raoul_Volfoni wrote:Tu peux essayer de chercher directement sur leur site avec ton navigateur et voir si tu obtiens des résultats ... si oui il faudrait que tu puisses changer le user agent du navigateur

Merci mille fois Raoul_Volfoni pour ton aide !!!
Je m’apprêtais à essayé ta solution pour éclaircir mes doutes sur mon affaire d'ip blacklisté !! Comme par miracle, aujourd’hui tout fonctionne à merveille !!! nouvelle et ancienne fiches !!!! Allez savoir

Encore merci aux contributeurs du sript !!

Ragenetik · Post by **Ragenetik** » 2016-11-26 18:46:42

Bonjour, ça faisait au moins 2 semaines que je n'avais pas utilisé AMC, j'ai mis le script à jour, je viens pour ajouter un film à ma liste et le script ne fonctionne pas. Ça me donne 2 erreurs HTTP/1 .1 403 Forbidden et j'obtiens aucune infos. Un peu comme Tistitoo, j'ai été sur leur site et en accédant au divers onglets j'ai réussis à récupérer toutes les infos. Le 2e film, j'ai presque obtenu toutes les infos sauf les commentaires que j'ai dû aller chercher sur le site en accédant à l'onglet et le 3e film j'ai eu quelques infos et dû aller en chercher d'autres sur le site. Ce serait mieux si j'avais pas besoin d'aller chercher sur le site d'allocine avant.

Une idée pourquoi ça me fait ça?

P.S. Merci pour votre bon travail, je suis accroc à ce logiciel pour mes listes.

LeMoi · Post by **LeMoi** » 2016-11-26 22:42:00

Idem, erreur 403 depuis ce soir, j'ai les acteurs, les notes, la BA, mais pas les secrets de tournage...

Raoul_Volfoni · Post by **Raoul_Volfoni** » 2016-11-26 23:00:38

J'ai le même souci ... j'ai pas regardé, mais je sais pas trop d'où ça peut venir vu qu'on accède aux infos via navigateur, même en utilisant le user agent d'AMC. Là, je travaille sur le script CinEmotions et y a du boulot

Post by **antp** » 2016-11-26 23:06:42

Peut-être qu'AMC récupère trop vite plusieurs pages ? On peut tenter de mettre une pause de deux ou trois secondes après chaque chargement de page via un Sleep(2000)

Raoul_Volfoni · Post by **Raoul_Volfoni** » 2016-11-26 23:52:59

Je viens d'essayer avec des pauses et ça change rien ... c'est juste plus lent.

Raoul_Volfoni · Post by **Raoul_Volfoni** » 2016-11-27 12:51:56

Voici le résultat de mes dernières investigations.

Le nombre d'erreurs 403 dépend des options que l'on utilise pour le script. En activant tous les éléments récupérables du script j'obtiens personnellement 5 erreurs 403. En exécutant le script à la main ligne par ligne j'ai pu identifié que hormis la page principale les appels vers les autres pages sont systématiquement refusés.

Pour ce film que j'utilise entre autres pour tester mes corrections, si j'ouvre dans un navigateur les pages qui posent problèmes à savoir le casting, les secrets de tournage, les photos et les ba ... le script récupère alors toutes les infos sans broncher comme déjà souligné ici par certains.
J'ai tenté un getpage2 avec plusieurs referer différents sans succès.

Je suis au point mort ... A noter que personnellement je récupère plus de choses qu'hier soir où les fiches étaient quasiment vides.

Post by **antp** » 2016-11-27 18:21:10

Et si tu ouvres la page dans un navigateur sans cookies (càd dans une fenêtre de navigation privée, pas besoin de virer tous tes cookies pour tester

), est-ce que ça marche aussi ?
Quoique si ça marche dans AMC après avoir été ouvert dans le navigateur, c'est plutôt côté serveur qu'il doit enregistrer un truc...

Raoul_Volfoni · Post by **Raoul_Volfoni** » 2016-11-27 21:27:48

ça marche aussi en fenêtre de navigation privée ... donc c'est pas une question de cookie ... le getpage3 ne nous sortira pas d'affaire

Raoul_Volfoni · Post by **Raoul_Volfoni** » 2016-11-30 13:46:28

Je crois que finalement le problème est lié au user agent d'AMC. Aujourd'hui n'ayant même plus accès à la page principale via AMC alors que c'était encore le cas il y a quelques jours. J'ai décidé de refaire des tests à partir d'un navigateur. Je ne sais pas pourquoi je n'obtenais pas les mêmes résultats il y a quelques jours, mais aujourd'hui lorsque j'utilise le user agent d'AMC dans mon navigateur je tombe sur une page "You have been blocked" de ce type. (cf capture ci dessous)

Et sans rien faire d'autre que de remettre le user agent par défaut du navigateur et en rafraîchissant la page, je tombe sur la bonne page ... voilà voilà

Post by **antp** » 2016-11-30 16:57:13

Hmm

embêtant
La solution d'ouvrir la page dans le navigateur avant importation AMC marche toujours ? Ou c'est aléatoire ?
Parce que si ça marche toujours il "suffit" que le script ouvre la page dans le navigateur avant de l'importer, attende deux ou trois secondes, puis fasse l'importation... (c'est un gros bricolage moche, mais bon...)

Raoul_Volfoni · Post by **Raoul_Volfoni** » 2016-11-30 17:42:18

antp wrote:La solution d'ouvrir la page dans le navigateur avant importation AMC marche toujours ? Ou c'est aléatoire ?

En ouvrant les 5 pages dont le script (full option) à besoin pour tout récupérer, oui ça marche toujours.

antp wrote:Parce que si ça marche toujours il "suffit" que le script ouvre la page dans le navigateur avant de l'importer, attende deux ou trois secondes, puis fasse l'importation... (c'est un gros bricolage moche, mais bon...)

En l'état actuel de mes connaissances, je sais pas faire ... Faudrait que je vois dans l'aide qu'elle est l'instruction pour ça, mais ça me parait lourdingue. Si on fait 4 recherches ça veut dire 20 pages à ouvrir. Surtout que je suppose qu'il n'y a pas d'instruction pour fermer les fenêtres ensuite ?

Après, à condition que l'on puisse s'en servir, il y aurait bien l'api ... mais bon ça veut dire tout réécrire

... et on récupérera certainement beaucoup moins de choses

Post by **antp** » 2016-11-30 19:15:32

En effet, ça fait des fenêtres à fermer par l'utilisateur... mais c'est mieux que rien.
Y a une fonction Launch, de mémoire, pour ouvrir un truc externe (à vérifier dans la doc d'AMC)
En effet idéalement il faudrait utiliser l'API...

Raoul_Volfoni · Post by **Raoul_Volfoni** » 2016-11-30 21:14:44

Bon

... j'ai fais la modif dans cette version 2.26 ... c'était bien l'instruction Launch

quelle mémoire !!

(petite parenthèse sur le fichier d'aide, je sais pas si je l'ai déjà dit, mais le getpage3 n'est pas renseigné du tout dans l'aide de AMC (version 4.2.1 beta))

Perso, c'est inutilisable car AMC fonctionne sous Linux sur un vieux bouzin et l'ouverture des pages dans le navigateur ralenti énormément la machine en bouffant processing et mémoire à gogo, mais ça marchera peut être pour d'autres personnes.
J'ai implanté un paramètre pause dans 'les paramètres du script' sous les options du script à droite dans la fenêtre scripting. Ça permet de faire varier l'attente entre l'ouverture de la page par le navigateur et l'acquisition de celle ci par AMC. La valeur doit être en millisecondes et est de 3000 par défaut. Les personnes pour qui ça marchent peuvent essayer de réduire ce délai ou l'augmenter si ça marche pas. Je ne me rappelle plus quand 'Les paramètres' ont été implantés par Soulsnake, mais il doit falloir une version 4.2.0 d'AMC pour que ça marche.

Voilà c'est un peu à l'arrache ... si certains veulent tester ...

>>> Allocine V2.26 à tester <<<*
*A savoir que le script va ouvrir les pages dont il a besoin dans votre navigateur. Pour une récupération totale des données proposé par le script, cela peut ouvrir jusqu'à 7 pages dans votre navigateur qu'il faudra ensuite refermer à la main.
Dans tous les cas cette mise à jour n'en est pas vraiment une car le script dans l'état est peu exploitable ... il n'y a malheureusement pas grand chose à faire en l'état.

LeMoi · Post by **LeMoi** » 2016-11-30 22:45:09

J'avoue ne pas avoir tout compris, mais ce qui se passe chez moi est très bizarre...
Au moment ou AMC affiche la liste des résultats pour le script, ça m'ouvre la page web correspondante sur le site Allociné... Et quand je choisis le film ça m'ouvre 4 pages différentes (fiche, vidéos, anecdotes, casting) mais j'ai toujours l'erreur 403 et des infos manquantes sur la fiche :s enfin, surtout le lien de la BA et les secrets de tournage, le casting et le synopsis sont bien récupérés !

Raoul_Volfoni · Post by **Raoul_Volfoni** » 2016-11-30 23:12:44

LeMoi wrote:Au moment ou AMC affiche la liste des résultats pour le script, ça m'ouvre la page web correspondante sur le site Allociné... Et quand je choisis le film ça m'ouvre 4 pages différentes (fiche, vidéos, anecdotes, casting)

Oui c'est normal ... c'est voulu et le seul moyen actuellement pour pouvoir récupérer des infos avec le script. (sans avoir à ouvrir manuellement ces pages dans un navigateur)
J'ai pas réexpliqué ça dans la mise à jour parce qu'on en a discuté dans les messages précédents la mise à jour.
Si tu ne récupères pas tout c'est que l'affichage des pages dans ton navigateur et l'acquisition de ces pages dans AMC est trop courte ... relis mon message sur la mise à jour et ajuste la valeur de pause pour voir si ça change quelque chose ... dans ton cas augmente la valeur de pause à 4000, 5000 ou plus. Dans tous les cas cette mise à jour n'en est pas vraiment une car le script dans l'état est peu exploitable ... il n'y a malheureusement pas grand chose à faire en l'état.

LeMoi · Post by **LeMoi** » 2016-11-30 23:22:18

Je ne trouvais pas l'option, mais maintenant c'est bon, j'ai testé avec '5000' et ça a fonctionné

Un peu plus lent, ça ouvre pas mal de pages, mais bon, ça dépanne pour l'instant, merci ^^

xenesys · Post by **xenesys** » 2016-12-01 20:50:38

MAJ OK pour tempo à 4000.
C'est lourdingue leur changement quand même.....

je me suis alors posé la question : est ce que tout ce pataquès est mis en place pour éviter qu'ils ne se fassent siffoner leur site ? (en gros je siffone tout le site, j'elimine l'inutile et je recrée un nouveau site tout beau avec une base de donnée toute faite et je profite alors des pubs pour faire du fric)

antp.be forum

[REL] [FR] Allociné v2

Mise à jour Allociné V2.26 au schnapps !!