[REL] Script pour AnimeNewsNetwork.com

[baffab]

Bonjour,

Voici un script pour récupérer les infos d'animes : animenewsnetwork

Description des options :
StaffList : récupération du staff
LocalCountry : définir le langage utilisé pour le doublage
LocalCast : récupération du doublage défini dans 'LocalCountry'
Translate : traduction des métiers (en français uniquement, sinon à modifier dans le script)
GetImage : choix de la taille d'image à récupérer
TypeMedia : choix du type de média ('anime' ou 'manga')
Clear : remplacer les champs à récupérer ou les ajouter à la valeur déjà existante pour compléter une fiche (s'applique aux champs 'acteurs' et 'commentaires')

baffab

[draco31.fr]

Et bien, tu es prolifique Baffab !!!

Merci pour tout ces scripts !

J'étais aussi interessé pour faire un script pour AnimeNewsNetwork, d'autant plus que mon scriot pour AniDB ne fonctionne plus :'(

Cependant, j'aurais plutôt utilisé une google à la place du moteur de recherche du site qui ne donne un bon résultat que si le mot clé correspond au premire mot du titre ...

Avec Google l'url de recherche était de ce type :

Code: Select all

http://www.google.fr/search?q=allinanchor:+dragon+ball+site:http://www.animenewsnetwork.com/encyclopedia/anime.php%3Fid%3D&num=100&hl=fr&lr=&as_qdr=all&filter=0

(Avec comme mot clé : "dragon ball")

J'ai hate de tester ton script

Tu en as d'autre en vue ?

[baffab]

Je n'avais pas pensé au passage par google, mais ça peut être une bonne idée.
Disons que pour l'instant le moteur du site me convient mais faut voir avec d'autres utilisateurs.

Légèrement différent, j'en ai fait un pour le site BDovore (voir section Mods).
Pour la suite j'y réfléchi, tant que j'ai du temps.

[draco31.fr]

Cependant, j'aurais plutôt utilisé une google à la place du moteur de recherche du site qui ne donne un bon résultat que si le mot clé correspond au premire mot du titre ...

Finalement je vois qu'ANN a changé sont module de recherche et qu'il est depuis bien plus performant, c'est super !

Par contre, j'ai quelques petites remarques (script Animes) bien que tu ais fait un super taff !
1/ J'ai testé avec "naruto" (faut bien commencer par qqch) :
Les OAV n'apparaissent pas dans la fenêtre de choix alors que par le moteur de recherche du site il y sont :'(

2/ J'ai vu que tu prennais toujours la petite image. Il est vrai que la plupart du temps il n'y a pas de grand format ... mais on en trouve :
par exemple avec Ghost in the Shell Innocence
URL de petite image :
http://www.animenewsnetwork.com/images/ ... ail.90.jpg
URL grande image :
http://www.animenewsnetwork.com/images/ ... 081-56.jpg
En gros il faut supprimmer le ".thumbnail.90" dans l'url de l'image, sachant que même s'il n'y a pas de grand format, l'url est valable et donne la "petite" image.
doc peut-être rajouter la ligne suivante avant la ligne n°153 du script :

Code: Select all

Value := StringReplace(Value,'.thumbnail.90','');

Avant :

Code: Select all

    Value := 'http://www.animenewsnetwork.com' + '/images/encyc/'+Value;
    GetPicture(Value);

Après :

Code: Select all

    Value := 'http://www.animenewsnetwork.com' + '/images/encyc/'+Value;
    Value := StringReplace(Value,'.thumbnail.90','');
    GetPicture(Value);

3/ Peux-tu m'expliquer la différence entre les différents choix de l'option "liste staff" ?
(la flème de décrypter le script )

[baffab]

Décidemment ils sont jamais contents

1/ OK, c'est corrigé (en espérant que ce soit suffisant et qu'il n'y aie pas d'effet secondaire)

2/ j'ai fait la modif en rajoutant une option au script (je ne connaissait pas cette variante, il faut dire que je récupère les images ailleurs)

3/ Là c'est du "bricolage" : sur certains animes la liste est gigantesque donc je la filtre suivant 2 méthodes (la première option récupère tout, en principe). La première est basée sur une liste de "métiers" que je ne récupère pas (variable Exception) et la deuxième sur la taille (et donc le nombre de personnes) de chaque "métier" (ce qui me fait sauter des métiers comme simple animateur où l'on peut trouver des dizaines de personnes).
Enfin, comme je l'ai dit c'est plus du bricolage qu'autre chose.

N'hésite pas à remonter les erreurs...

[draco31.fr]

ça a l'air de bien marcher ... pas d'erreur à signaler

Merci pour les corrections

Tu as fait les 3 scripts (ANN, ANN Manga, et BDovore) dans la même journée ???
(Il me faut 1 journée en général pour faire un script et le débuger )

Je me demandais aussi si tu bossais dans l'informatique ou si c'était juste un passe-temps pour toi

Sinon, je ne sais pas si tu connais mais si tu aime les animes et les mangas, y a un site français dont le forum est sympa : ça s'appelle AnimeDonkey.org.
N'hesite pas à venir y faire un tour

[baffab]

ça a l'air de bien marcher ... pas d'erreur à signaler

Merci pour les corrections

Tant mieux.

Tu as fait les 3 scripts (ANN, ANN Manga, et BDovore) dans la même journée ???
(Il me faut 1 journée en général pour faire un script et le débuger )

Non, je les aie fais depuis quelques temps mais j'attendais qu'ils soient un peu plus finaliser avant de les partager. Surtout que je travaille un peu à coté

Je me demandais aussi si tu bossais dans l'informatique ou si c'était juste un passe-temps pour toi

Je bosse dans l'informatique, je crache du code toute la journée.

Sinon, je ne sais pas si tu connais mais si tu aime les animes et les mangas, y a un site français dont le forum est sympa : ça s'appelle AnimeDonkey.org.
N'hesite pas à venir y faire un tour

Je connais le site (bien pratique), mais je ne suis jamais allé voir le forum. Peut-être 12C4...

[baffab]

Petite mise à jour

(Little update)

Thank you animelover

[antp]

Merci, je l'ai mis avec les autres scripts.
Étonnant, je n'avais pas encore ce script, j'ai dû louper ce topic à l'époque...

[baffab]

Petite mise à jour

(Little update)

bis

[baffab]

Grosse mise à jour du script animenewsnetwork avec :
- des corrections par-ci par-là,
- quelques évolutions sur la récupération du staff,
- possibilité de récupérer le titre et le doublage dans une autre langue en plus du japonais (English, French, German, Italian, Portuguese, Spanish, Swedish), liste non exhaustive pouvant être étendue.
- traduction de différents postes en français (source à modifier pour la traduction dans une autre langue)

[antp]

merci

[Raoul_Volfoni]

Salut à tous

J'ai constaté que le script renvoyait l'erreur : "HTTP/1.1 403 Forbidden"
j'ai d'abord essayé de rétablir le GetPage qui pose problème ... mais rien n'y a fait, j'ai tout essayé jusqu'au GetPage3 avec cookie et id d'identification ... mais rien.

Apparemment le site rejette le user agent de AMC.
J'ai fait le test sous Firefox avec l'extension "User Agent Switcher 0.7.3" et en utilisant le User Agent de AMC "Mozilla/5.0 (compatible; Ant Movie Catalog using Indy Library)" le site me retourne une page d'erreur en me disant : "The owner of this website (www.animenewsnetwork.com) has banned your access based on your browser's signature"
Donc à mon avis c'est mort pour ce script ... ... non ?

[baffab]

C'est ballot,
je m'en étais servi il y a moins d'un mois et il marchait bien. Dommage...

Ça ne m'arrange pas tout ça.

[antp]

Il faudrait éventuellement contacter le proprio du site pour avoir plus d'infos (parfois ce n'est pas fait exprès, on avait eu le cas récemment avec DVDFR) mais en effet y a des chances que ce soit mort...

[Raoul_Volfoni]

C'est ballot,
je m'en étais servi il y a moins d'un mois et il marchait bien. Dommage...

Ça ne m'arrange pas tout ça.

Ben moi non plus ...
Car comme tu le sais déjà j'avais honteusement (avec ton aimable autorisation) pompé la récupération de l'image AnimeNewsNetwork sur ton script pour l'inclure dans celui d'Animeka et forcément ça marche plus ...

Il faudrait éventuellement contacter le proprio du site pour avoir plus d'infos (parfois ce n'est pas fait exprès, on avait eu le cas récemment avec DVDFR) mais en effet y a des chances que ce soit mort...

Du genre lui demander pourquoi il bannit tous les user agent avec "indy" dedans ?
Je crois qu'on sait déjà pourquoi : Indy Knowledge DataBase (Merci à bad4u pour le lien)
Quand je pense qu'il suffit juste d'enlever "indy" du user agent d'AMC pour que ça marche ...

Je sais bien que tu es réticent au changement du user agent d'AMC dû au fait que certains sites ont bloqués leurs accès au programme sur la base du user en vigueur. Mais bon ... de l'eau à couler sous les ponts depuis ... ... les scripts de ces sites ont très certainement été oubliés et sont devenus obsolètes à l'heure actuelle.
N'y aurait il donc pas moyen, vu que tu es reparti en développement conjointement avec soulsnake, de mettre en place une option dans le programme qui puisse changer le user sans avoir à recompiler le programme. J'dis ça comme ça hein ... je tente ma chance ...

[baffab]

En attendant, j'ai trouvé un moyen pour récupérer les infos :
- aller sur le site de animenewsnetwork
- rechercher la page de l'anime recherché
- sauver la page html de l'anime sur le disque avec comme nom celui de l'anime avec l'extension html (ou htm, ça marche aussi)
- depuis AMC utiliser le script animenewsnetworkLocal (version en local donc), sélectionner le répertoire où trouver le fichier html (par défaut "c:\temp"), le titre utilisé doit être celui du nom du fichier sans l'extension.
Et ça devrait marcher.

C'est un peu plus long mais pas trop non plus.

Par contre avec cette technique on ne peut pas récupérer l'image (désolé Raoul). A ce propos Antoine, existe-t-il un équivalent à GetPicture qui prend un fichier et non une adresse web en paramètre ?

[antp]

Je sais bien que tu es réticent au changement du user agent d'AMC dû au fait que certains sites ont bloqués leurs accès au programme sur la base du user en vigueur. Mais bon ... de l'eau à couler sous les ponts depuis ... ... les scripts de ces sites ont très certainement été oubliés et sont devenus obsolètes à l'heure actuelle.
N'y aurait il donc pas moyen, vu que tu es reparti en développement conjointement avec soulsnake, de mettre en place une option dans le programme qui puisse changer le user sans avoir à recompiler le programme. J'dis ça comme ça hein ... je tente ma chance ...

Que l'utilisateur le change, non, sinon ça ferait perdre l'argument qu'un site peut bloquer le soft s'il le vaut (après tout, c'est leur droit).
Par contre en effet je pourrais mettre un autre agent-id, ne comportant pas "Indy" déjà.
Je ne suis pas vraiment reparti en développement, y a que Soulsnake qui fait ça pour le moment C'est une idée à lui glisser pour la v4, vu les changements prévus.
Mais il suffirait peut-être de contacter le proprio du site hein

Il n'y a pas de fonction pour manipuler les images via script (à part GetPicture), mais il me semble que Soulsnake avait fait des ajouts justement à ce niveau ?

[Raoul_Volfoni]

Mais il suffirait peut-être de contacter le proprio du site hein

Ben j'vais avoir du mal pour l'instant car le site est carrément dans les choux ...

[baffab]

Cette fois je vais avoir du mal à trouver une alternative