[REL] Italian Multisite 4.0.1 released

[mrobama]

Please don't public these on script folder, this is only an open beta!

Download release 1.5.8, if something does not work you can rollback at 1.5.3 (stable).

Unzip all the files in your script directory (based on your OS and preferences, it could be this dir: C:\ProgramData\Ant Movie Catalog\Scripts )

What you get:
- 6 new .ifs files (ItalianMultisite (IT).ifs , MyMovies Shared (IT).ifs , ComingSoon Shared (IT).ifs , FilmTv Shared (IT).ifs , FilmScoop Shared (IT).ifs , KultVideo (IT).ifs)
- 8 new .pas files (ItalianSharedPas.pas, ItalianMultisitePas.pas , MyMoviesPas.pas, FilmTvPas.pas, ComingSoonPas.pas , FilmTvPas.pas , FilmScoopPas.pas , KultVideoPas.pas , ImdbPas.pas)

The pas files are units, the ifs are the scripts. You get 1 new script "ItalianMultisite (IT).ifs" and 5 scripts: these ones are new version of existing italian scripts, they are rewritten in main program + external pas file. The external pas file of these scripts are also used by "ItalianMultisite (IT).ifs", so I called these scripts "shared edition" because they share their own unit. If a user prefer using on ComingSoon, he can use "ComingSoon Shared (IT)", when the code will be updated (the unit pas) then also ItalianMultisite will be updated because it shares the same unit.

Why this script? Just 2 words on "italian scene": you american / english people have imdb, you look for a movie with imdb script and you are done, you a catalog with full details, actor roles, all fields filled. In Italy we have more sites but they don't have all movies inside so you have to do more and more searches to get italian detail (you known, decription and comments): when you find the righe movie page often you miss all details, the cast is reduced to few actors, the poster is in low definition, and so on ... So, after a long search through different sites/script, you have to repeat the search with IMDB to have full details, leaving description and comments in italian language.

This is a big pain in out italian asses and a lot of time wasted!

And that's why I wrote this script!

The script performs a full search through the main italian sites until it found a movie url with description field fulfilled, then it ask IMDB to overwrite all the fields except description and comments.

You can set your preferences in parameter script about which italian site ask first (set a priority value from 1 to 9, bigger numbers are served first) or you can choose to skip a site (set the priority value to 0).

About IMDB you can use IMDBFinalSearch to skip IMDB site (value = 0), to use it only in invisible/automatic mode (value = 1), or always use (value = 2). The invisible/automatic mode does a research of movie in IMDB and double check title, director and year: if they are similar / matches then the script use that infos without no user popup. If the automatic search fails, if you set IMDBFinalSearch to 2 then the script perform a standard search and it will ask user (popup) to confirm selecting the title from the found ones.

The script also include all parameters and options of the used script, so you will have all IMDB options too. Consider some of them are not working, as (IMDb) BatchMode or ComingSoonMode (when set to 1), there is some work to do. Also consider there are limitation due the design / approach choosen: the unit are shared by they have duplicated functions/procedure/vars, the IMDb is copied and pasted inside a unit without changing a single line (so we can update it in few seconds when the original IMDb script will be updated) but doing so we can't modify its behaviour. There are bugs, of course, this is a beta and the worst problem is debugging because Ant or FreePascal or the SDK used does not help when you make an error inside a unit (sigh!).

That's all folks, have nice testing ...

----------------------
ChangeLog

20/08/2020 v1.5.8: highly improved IMDb support (some option/parameter must be fixed), improved UTF8 decode to CP1252
13/07/2020 v1.5.7: improved ComingSoon crawler: no more "too many requests" (but you have to change user agent in your lng file)
10/07/2020 v1.5.6: improved ComingSoon series / seasons support
09/07/2020 v1.5.5: added pagination for each site, improved search parameters
08/07/2020 v1.5.4: added MoviePlayer, minor fine tunings
06/07/2020 v1.5.3: fine tuning, minor fixes
04/07/2020 v1.5.2: stable again! Totally usable version, (almost) bug free
04/07/2020 v1.5.1: functions and variable renaming (no more conflicts), bug fixes
04/07/2020 v1.5.0: huge code changes, all pas now use a new common pas, ItalianSharedPas. Added new option, UseUrlField, based on old ComingSoon mode option. Minor improvements and bug fixes
30/06/2020 v1.0.5: added IMDBGetAllTitles option to retrieve all titles (alfa! this will probably change in the next releases!)
29/06/2020 v1.0.4: improved use of year and director prefilled fields, improved comingsoon searches, fix debug method
29/06/2020 v1.0.3: improved utf8encoding, fix cancel button bug
28/06/2020 v1.0.2: bug fix, KultVideo added

[fulvio53s03]

@Mrobama: Ho iniziato un test e comincio col segnalarti errori/suggerimenti.
- Script Options: potresti indicare a quale script si riferisco? (es. User Director & year value si riferisce solo a FilmTV (mi pare))
- Script Parameters: FilmTV priority ---> FilmTV_priority mi sembra più leggibile
- sia options che parameters in ordine alfabetico, con prefisso il nome dello script (es. FilmTV_User Director & year value)
- Script Parameters: a parte le priorità di ricerca, tutte le altre possibilità mi sembrerebbe più "ordinato" metterle tra le Options

1: ricerca di Snowpiercer (serie TV: Comingsoon priority 9):
l'indirizzo pagina è individuato ccorrettamente nella ricerca, l'estrazione dati da origine a
"Script error in "ITALIANMULTISITEPAS": type mismatch at line 18"

2: ricerca di Snowpiercer (film: FilmTV priority 9):
la ricerca parte da Comingsoon (prty. 8) mostrando i relativi risultati e solo dopo passa a FilmTV (prty. 9).
Anche se si preme "Abort" la ricerca prosegue con FilmTV e qui, pur scegliendo una pagina (che esiste) lo script si chiude senza dare risultati.

Mi fermo qui, ce n'è di che! (sembra davvero una fatica di Sisifo, come temevo).
Grazie per il tuo lavoro.

[mrobama]

Ciao @fulvio53s03,

grazie per i feedback, li controllerò uno per uno, mi aiuta molto qualcuno che ha esperienza e che mi indichi la rotta

Sono a lavoro ancora su molte cose e sto aggiungendo ulteriori funzionalità, ad ogni modo ...

D: "- Script Options: potresti indicare a quale script si riferisco? (es. User Director & year value si riferisce solo a FilmTV (mi pare))"

R: "User Director & year value" ora è presente in tutti gli script shared (tranne KultVideo). E' molto comodo: se fai una ricerca con "Il demone sotto la pelle (Cronenberg, 1975)" oppure con "Il demone sotto la pelle" ma nella scheda i campi director e year sono valorizzati a Cronenberg e 1975 lui effettua una ricerca estremamente mirata (per farti un esempio su "comingsoon shared" quando cerca su Google imposta proprio tra i parametri di ricerca l'anno) e se trova la scheda tra i risultati non ti fa perdere tempo chiedendoti di selezionare quello giusto, lo capisce da sé. Adotta una discreta euristica, ad esempio applica un range per gli anni (a volte c'è la differenza di 1 o 2 anni) e anche il nome del registra è ricercato in modo intelligente (e ho già in testa un ulteriore miglioramento). Quell'opzione è quindi globale


D: "Script Parameters: FilmTV priority ---> FilmTV_priority mi sembra più leggibile"

R: Ho provveduto, grazie


D: "sia options che parameters in ordine alfabetico, con prefisso il nome dello script (es. FilmTV_User Director & year value)"

R: Qualcosa si può fare ma è un po' un problema. Mi spiego: la logica di inclusione di IMDB è del tipo "anche un bambino di quinta elementare deve riuscirci". Quindi IMDB è "buttato dentro" senza alcuna manomissione: le option si aggiungono alla fine delle option di ItalianMultisite, stessa cosa i Parameters e il codice è buttato in una unit senza toccare nulla. In questo modo futuri update di IMDB chiunque potrà integrarli in un secondo, senza mettersi a fare diff tra i codici di IMDB e ItalianMultisite. Se inizio a toccare l'ordine dei parametri diventa un po' un casino ogni volta ricontrollarli uno per uno e risistemarli nello stesso ordine (è vero che non cambiano così spesso però ad ogni aggiornamento di IMDB per scrupolo poi si dovrà perdere tempo a verificare ...). Sicuramente posso modificare option e parameters propri di ItalianMultisite, lì tutte le modifiche, i rename, etc. sono i benvenuti ...


D: Script Parameters: a parte le priorità di ricerca, tutte le altre possibilità mi sembrerebbe più "ordinato" metterle tra le Options

R: ok, fatta salva la premessa di prima, ci lavoro!


D: 1: ricerca di Snowpiercer (serie TV: Comingsoon priority 9) [...]

R: L'ho scritto anche nel post, il ComingSoonMode a 1 non va ancora (e in generale la ricerca delle serie). Credo sia semplice da sistemare lato mio, appena ho un attimo mi ci metto


D: 2: ricerca di Snowpiercer (film: FilmTV priority 9): [...]

R: Sicuro che stai testando con l'ultima versione, la 1.0.4? Quel problema era presente sulle versioni più vecchie, ad ogni modo ho applicato ulteriori check e ti lascio il link alla 1.0.5 (puoi scompattare e sovrascrivere senza timore di far danni)

[fulvio53s03]

grazie. riprovo (hai ragione, mi ero fermato alla 1.02).

[mrobama]

Non guardare il codice, lo sto rifattorizzando tutto e riorganizzando (spero che alla fine sia composto da meno della metà delle righe)

[fulvio53s03]

Non guardare il codice, lo sto rifattorizzando tutto e riorganizzando (spero che alla fine sia composto da meno della metà delle righe)

nessun problema. ciascuno ha il proprio stile.
Io, ad esempio, per motivi di futuri debug e storicizzazione, spesso preferisco lasciare le vecchie istruzioni (commentandole) e non usare funzioni di funzioni
(es:
al posto di
arg := funz1(funz2(arg1, arg2, arg3);
preferisco usare
arg := funz2(arg1, arg2, arg3);
arg := funz1(arg);)
dispersivo ma utile per future variazioni).

( mi rimane tuttavia un dubbio: perchè usi 6 .pas e 6 .ifs e non semplicemente 6 .ifs (ciascuno contenente il suo .pas? )

[mrobama]

riguardo l'ultima domanda non sono sicuro di averla capita. Se mi stai chiedendo perché ho splittato un ifs in ifs + pas il motivo è che quel pas diventa una unit condivisa utilizzabile non solo da quell'ifs ma anche da ItalianMultisite. In questo modo se ad esempio cambia l'html della pagina e c'è da aggiornare i parser, aggiornando il pas automaticamente ne beneficiano sia il relativo ifs che ItalianMultisite. Comunque al momento sto rifattorizzando i pas e non sto aggiungendo nessuna modifica/patch/bug fix, non so se mi riesce applicare un'idea di fondo, se mi riesce e funziona poi riprendo con tutto il resto. I vantaggi della fattorizzazione sarebbero diversi: ifs con 0 codice (solo option e parameters), pas molto più leggeri, 0 ridondanza del codice (a differenza di adesso), funzionalità unificate (ad esempio il debug, l'input del titolo, etc.), molto più semplice aggiungere un domani nuove fonti/siti (grazie a macro già pronte e più potenti).

Comunque la 1.0.5 (va ancora sistemato il discorso serie) mi pare regga ed è già utilizzabile.

Quando riprenderò modfiche, fix e avanzamenti, una delle cose che vorrei sistemare è la gestione dei titoli alternativi. Nella 1.0.5 ho introdotto il parametro IMDBFinalSearch che se impostato su 2 nel campo titolo tradotto mette tutti i titoli tradotti presenti su imdb separati da un doppio pipe, escludendo quelli con font giapponesi e cinesi o comunque non supportati da Ant (esempio: "Il demone sotto la pelle || They Came from Within || It Came from Within || The Parasite Murders || || Parasiten-Mörder || Huivering || Calafrios || The Parasite Complex || Frissons || Orgy of the Blood Parasites || Parásitos asesinos || Kylmät väreet || Frossa || Paraziták || SF Hitokui seibutsu no shima: Nazo no seimeitai daishûrai || Shîbâsu: Hitokui seibutsu no shima || Epidemia || Parásitos mortales || Dreszcze || Os Parasitas da Morte || Drhtavica || Vénen de dintre de... || Vinieron de dentro de... || Ürpert"). Ad ogni modo IMDBFinalSearch non ha di default il valore 2 perché questa soluzione magari non piace a tutti e quindi la lascio attivabile solo per gli utenti più esigenti che si studiano opzioni e parametri.

Io lo trovo comodo perché questo film, diversamente, con i vari script ce lo troveremmo con titolo originale Shivers e titolo tradotto "Il demone sotto la pelle". Magari in rete troviamo "The Parasite Murders" o "Frissons" con tanto di locandina, lo cerchiamo nel catalogo, crediamo di non averlo e scarichiamo un doppione. La soluzione di mettere i titoli alternativi nel campo titolo tradotto ha il vantaggio di semplificare la ricerca tramite il campo "titolo formattato" di Ant, vorrei valutare la soluzione con campi personalizzati (quindi avere ad esempio vari campi chiamati titolo tradotto francese, titolo tradotto tedesco, etc. etc.) ma a quel punto non solo ogni utilizzatore dovrebbe crearsi gli stessi campi con lo stesso nome ma inoltre temo che non sarebbe facile fare la ricerca tramite Ant perché il campo "Titolo formattato" non includerebbe la ricerca anche in questi campi. Suggerimenti?

[fulvio53s03]

riguardo l'ultima domanda non sono sicuro di averla capita. Se mi stai chiedendo perché ho splittato un ifs in ifs + pas il motivo è che quel pas diventa una unit condivisa utilizzabile non solo da quell'ifs ma anche da ItalianMultisite.....

OK, l'avevi detto già fin dall'inizio ma mi era sfuggito.....
Riguardo i titoli in altre lingue oltre quella Italiana e originale (se ho capito bene): non so fino a che punto sia utile (considerando il rapporto sforzi / benefici).
Per mostrarli, eventualmente, potresti aggiungerli in coda o in testa ai commenti
Infine, mi pare che ogni campo abbia una numerazione (v. script update_fields) e che si possa verificarne l'esistenza (v. function CustomFieldExists(fieldTag: string): Boolean;) ma siamo già oltre le mie esperienze di uso/scrittura degli scripts).

[mrobama]

La funzione è già implementata e funziona, ripeto, la puoi testare, alla fine è solo il parser di una pagina in più. Se inserissi i titoli alternativi nei commenti, nella descrizione o nei campi personalizzati (ho visto come si gestiscono, è facile) comunque rimarrebbe il cruccio della ricerca: per sapere se hai un film dovresti cercarlo prima come "titolo formattato" e poi ripetere la ricerca come "commenti" il che non è proprio il massimo. Ho visto che la ricerca presenta anche la possibilità di cercare su tutti i campi ma in questo caso escono fuori troppi risultati non corrispondenti. Invece non ho capito come funziona la ricerca selezionando advanced ... boh

[fulvio53s03]

Concordo che la ricerca dei titoli alternativi inseriti nel campo commenti sia decisamentee inadeguato. Pensavo solo al fatto di mostrarli, ove presenti tra i risultati della pagina estratta.

[mrobama]

Concordo che la ricerca dei titoli alternativi inseriti nel campo commenti sia decisamentee inadeguato. Pensavo solo al fatto di mostrarli, ove presenti tra i risultati della pagina estratta.

Aggiornamento: ho risolto i problemi di fattorizzazione (un incubo senza una documentazione adeguata di come funziona questo Pascal Script e di quali funzioni dispone!), la nuova soluzione scelta è percorribile (non era affatto scontato lo fosse). Ho già riscritto 3 script al momento (FilmTv, MyMovies, FilmScoop), gli altri li faccio domani (ComingSoon sarà il più tosto per via delle serie e mi ci vorrà più tempo). Per "riscritto" intendo che li ho rifattorizzati per usare le nuove macro a disposizione (con l'occasione ho applicato un po' di fix qui e lì, ma il codice resta quello). Poi ci sarà da documentare il tutto, possibilmente scrivere una guida/documentazione con esempi (in modo da semplificare la comprensione del codice), scegliere nomi sensati per variabili e procedure e funzioni, uff, è proprio vero che il 90% del lavoro si fa nel 90% del tempo e il restante 10% nel restante 90% ...

[mrobama]

La versione 1.5.0 (beta) può essere scaricata da qui.

Aggiunti KultVideo e ComingSoon, testata anche per le serie (sebbene non sono sicuro di aver capito tutto tutto).

Ho reso il mode di comingSoon una option per tutti gli script, l'ho chiamata UseUrlField, di default è a 0 ma quando viene impostata ad 1 si comporta come il mode di ComingSoon, ovvero cerca di utilizzare il campo URL per la ricerca (ma se il campo URL non contiene una url valida chiede comunque il nome all'utente). Nell'ItalianMultisite il comportamento è ottimizzato, questo parametro vince sulla priority dei siti e quindi viene usata direttamente la URL (se presente e se valida).

Il grande lavoro di rifattorizzazione è praticamente concluso. Alla base di tutto c'è una nuova unit, la ItalianSharedPas, che viene richiamata da tutte le altre unit. La ItalianSharedPas ha il grande pregio di racchiudere quelle funzioni che sono usate da tutti gli altri file, in questo modo il codice replicato è completamente sparito. I file ifs si sono ridotti ad appena 4 righe di codice, tutte le funzioni sono ora nei file pas. I file pas sono organizzati tutti in modo analogo, con 3 funzioni principali "pubbliche" con naming "obbligato" e a seguire le funzioni "private" del modulo. Confrontati con i vecchi ifs (i vecchi script) i file pas hanno analoga dimensioni o dimensioni inferiore fino al 33%. Questo assetto lo considero definitivo (c'è spazio per ulteriori ottimizzazioni ma lo schema resta questo).

Con l'occasione ho sistemato tante cosette che non andavano, dall'urlencoding che faceva fallire la ricerca, dall'utf8 mancante, dai tag da aggiornare, dal debug che è ora centralizzato (ovviamente in ItalianSharedPas) e che gestisce anche l'append così da avere un unico file di debug (commentato), etc. Inoltre tutti gli script si comportano in modo analogo: nessun messaggio di errore a video (ad eccezione di imdb che è utilizzato così com'è), quando compare l'elenco dei risultati (tranne che per IMDb) c'è la possibilità dello skip dolce tramite un'apposita voce di menu (senza l'odioso popup di Ant che chiede se si vuole interrompere la ricerca quando in realtà semplicemente si vuole saltare al prossimo script o film), etc. etc.

I prossimi step:
- introdurre la ricerca multipagina. Questo significa che se cerco, ad esempio, il telefilm Lost su FilmScoop questo compare solo nella terza pagina dei risultati, quindi voglio dare all'utente la possibilità di "sfogliare" le pagine nel picktree
- valutare l'opzione di aggiornamento automatico dei file pas ad ogni avanzamento di versione (è fattibile ma forse inutile)
- modificare il naming (anche usando i suggerimenti di Fulvio)
- documentare il tutto, possibilmente anche con guida ed esempi
- testare, testare, testare
- pubblicare il lavoro fatto (a beta chiusa) e chiedere ad Ant l'aggiornamento dei 5 script italiani con questo + ItalianMultisite

[fulvio53s03]

La versione 1.5.0 (beta) può essere scaricata
....
l'aggiornamento dei 5 script italiani con questo + ItalianMultisite

[mrobama]

Aggiornato ad 1.5.1, ieri durante i test ho notato che qualcosa era sfuggito (lo script dava qualche errore ogni tanto), ricontrollerò nei prox giorni perché c'è ancora qualche errore quando si processa in modo batch (c'è da lavorare...). Buon WeekEnd

[mrobama]

Versione 1.5.2, di nuovo stabile e utilizzabile (come la 1.0.5): download qui.

[fulvio53s03]

Versione 1.5.2, di nuovo stabile e utilizzabile (come la 1.0.5): download qui.

Purtroppo l'estate e l'afa uccidono tutte le mie buone intenzioni di test.
Solo ad agosto le mie (scarse) funzioni cerebrali riprendono, seppure lentamente.....

[mrobama]

Purtroppo l'estate e l'afa uccidono tutte le mie buone intenzioni di test.
Solo ad agosto le mie (scarse) funzioni cerebrali riprendono, seppure lentamente.....

Tranquillo, ti capisco perfettamente

NEl frattempo un po' di fine tuning ed ecco la 1.5.3

[fulvio53s03]

...però qualcosa sto facendo!
sono in sviluppo con AsianWorld e ho verificato che ComingSoon di Italian Multisite 1.5.2 estrae la locandina piccola (la vecchia versione "stand alone" si comporta bene).
forse c'è qualche parametro che mi sfugge?

[mrobama]

Puoi girarmi come esempio la url in cui hai riscontrato il problema?

[fulvio53s03]

Puoi girarmi come esempio la url in cui hai riscontrato il problema?

Hai ragione, sono caduto nell'errore che spesso "rimprovero" agli altri....
questo l'URl segnalato dal vecchio script:
https://www.comingsoon.it/film/da-5-blo ... 90/scheda/
questo quello nuovo :
https://www.imdb.com/title/tt9777644
la nuova procedura estrae la maggior parte dei dati da comingsoon e li integra/sostituisce con altri da IMDB (es. category, URL, video format, audio format, languages e locandina).
Mi pare che sarebbe più appropriato mantenere i campi già estratti dallo script preferito....
Sempre grazie del lavoro che stai svolgendo
(ma non è che il tutto sta diventando un po' troppo complicato da utilizzare/gestire da parte degll'utente standard?)