Export pdf impossible depuis màj du site

Vous avez une question sur le fonctionnement du site ? Un problème dans votre collection ? C'est ici que vous devez poser vos questions.

Modérateur : Correcteurs

Avatar du membre
Bruce
ascète
Messages : 3
Enregistré le : mer. mars 12, 2008 15:18
Contact :

Message par Bruce »

Bonjour,
Mon premier message sur le forum... Je n'ai pour ma part qu'un peu plus de 300 albums dans ma collection, donc pas de soucis en ce qui concerne la quantité à télécharger. J'aime surtout exporter en PDF et j'étais ravi de voir que l'on pouvait à présent sélectionner les informations à afficher dans celui-ci (titre, série, tome, ISBN, date d'achat, édition originale, etc).
Le problème est que j'ai beau sélectionner ce que je souhaite seulement afficher dans mon PDF, ça ne fonctionne pas. Tout est prit en compte.
Je voulais vous le signaler en espérant que vous trouverez la solution.
En tout cas, bravo pour votre travail :wink:
Avatar du membre
TaoNico
gourmet
Messages : 23
Enregistré le : ven. mars 11, 2011 14:07

Message par TaoNico »

Salut,

Tout d'abord, merci pour le travail que vous effectuez sur ce site.

En ce qui concerne le problème d’export des collections, je souhaite proposer mes services afin de vous aider.
Je ne pourrai pas y bosser dessus non stop, mais je serai ravi d'y passer quelques heures de temps en temps.

Je souhaiterai donc savoir, que dois-je faire pour pouvoir vous aider?

Pour info, je suis développeur, le web n'est pas ma spécialité, mais bon, personne n'est parfait.:)
Par contre, pour les export CSV, XML et Excel, j'en ai déjà fait, et je me suis mis récemment à travailler sur les fichiers PDF.

A bientôt.
Avatar du membre
Chninkel
Administrateur
Messages : 2266
Enregistré le : mar. sept. 13, 2005 21:04
Localisation : Gelbique

Message par Chninkel »

Hello :hello:

ben, du côté web, il n'y a pas grand chose à faire, c'est une limite qui vient de l'hébergeur et qui est compréhensible vu la taille en mémoire qu'utilise l'export d'une collection de plusieurs centaines d'albums en PDF (et plusieurs milliers en xls).

Par contre si tu es développeur, j'ai un brouillon d'application super-basique qui fait la conversion XML vers PDF. Ça parse le XML et crée un PDF qui liste les séries et les tomes de chaque série. Je manque juste de temps pour la terminer. C'est écrit en utilisant Qt (C++) et il y manque :

1. télécharger les couvertures de la collection à partir du site (leur url est connue) et gérer un espèce de pseudo-cache local pour ne pas les re-télécharger à chaque fois (if (!file_exists("...") { //download } ).
2. mettre en page l'export PDF pour que ça fasse joli (avec les couvertures).
3. "profiler" le tout pour voir comment ça tient la route pour une collection de 3000 BD :D

Pour le moment j'utilise PoDoFo comme librairie pour créer le PDF, mais je pensais aussi essayer de le faire 100% en Qt avec un QTextDocument (pour supprimer la dépendance à PoDoFo, et pour le fun).

Si c'est le genre d'idée qui t'intéresse (ou d'autres personnes), je peux partager le code existant (rien de bien compliqué, 2-3 classes assez courtes), il est sur un repo Git et je comptais le rendre opensource dès qu'il serait présentable :)
Inventaire BD | Mes BD

"Allez, en vous remerciant, bonsoir !"
Avatar du membre
TaoNico
gourmet
Messages : 23
Enregistré le : ven. mars 11, 2011 14:07

Message par TaoNico »

Salut,

Ce genre d'idée m’intéresse ! Si tu veux bien me passer le code ou au moins me filer un accès sur le repo, cela sera avec plaisir que je continuerai ton appli.

En ce qui concerne le web, je comprends aussi le point de l’hébergeur, cependant, il doit y avoir moyen d'esquiver le problème. :)
En mettant par exemple un ensemble d'export. Une fois la taille max déterminé on sélectionne les n premières séries de l'utilisateur qui rentrent dans cet export, on l'exporte dans un premier pdf (ou xls), puis on recommence avec les n séries suivantes, ... A la fin il ne restera plus qu'à la personne qui télécharge ces pdf (ou xls) de les fusionner. Dans un cas comme dans l'autre (pdf/xml) c'est facile.

A bientôt
Avatar du membre
Chninkel
Administrateur
Messages : 2266
Enregistré le : mar. sept. 13, 2005 21:04
Localisation : Gelbique

Message par Chninkel »

Super :-)

je vais quand même faire un peu de nettoyage avant et je mettrai tout sur bitbucket ou github.

Tu as un compte sur un des deux sites ?

au fait, le point 1 est fait :D (téléchargement des couvertures). Certainement à améliorer, mais a priori ça marche :D
Inventaire BD | Mes BD

"Allez, en vous remerciant, bonsoir !"
Avatar du membre
TaoNico
gourmet
Messages : 23
Enregistré le : ven. mars 11, 2011 14:07

Message par TaoNico »

J'ai un compte sur Bitbucket, mais si c'est sur GitHub ne t'inquiète pas j'aurai vite un compte ! :)

Nickel si le point 1 est fait !!

Pour le ménage ne t'inquiète pas, je ne m'en formaliserai pas !
Avatar du membre
Chninkel
Administrateur
Messages : 2266
Enregistré le : mar. sept. 13, 2005 21:04
Localisation : Gelbique

Message par Chninkel »

ça tombe bien, je viens de publier le repo sur https://bitbucket.org/bdovore/bdopdf (je suis l'utilisateur chninkel)

Après c'est comme tu préfères : on peut fonctionner par "pull request", mais comme on est que deux pour le moment, ça me semble raisonnablement plus pratique de te donner directement un accès en écriture sur le repo original si tu me donnes ton nom d'utilisateur :wink:

j'ai mis en licence LGPL, ça permet à d'autres d'utiliser le code sans trop de contrainte (link), sauf s'ils modifient :)

En parlant du point 1. je viens de tester sur 3000 albums. ça marche (5-10 minutes pour télécharger 3000 couvertures), mais ça bloque l'application pendant le téléchargement, donc il faut rendre le "loadXML" asynchrone :wink: (nb: pour être exact, je pensais que le téléchargement était déjà asynchrone, mais apparemment un détail m'échappe)
Inventaire BD | Mes BD

"Allez, en vous remerciant, bonsoir !"
Avatar du membre
TaoNico
gourmet
Messages : 23
Enregistré le : ven. mars 11, 2011 14:07

Message par TaoNico »

Mon pseudo est Nico12

Pour le pbm de téléchargement bloquant l'appli, je regarderai, mais de toutes façons il ne devrait poser problème que la première fois si on garde les couvertures en cache.
Avatar du membre
Chninkel
Administrateur
Messages : 2266
Enregistré le : mar. sept. 13, 2005 21:04
Localisation : Gelbique

Message par Chninkel »

TaoNico a écrit :Mon pseudo est Nico12
ajouté :jap:
TaoNico a écrit :Pour le pbm de téléchargement bloquant l'appli, je regarderai, mais de toutes façons il ne devrait poser problème que la première fois si on garde les couvertures en cache.
oui, tout à fait, quand les couvertures sont là c'est instantané donc c'est un problème relativement mineur, c'est juste que j'aimerais comprendre le "pourquoi" technique :D.
Inventaire BD | Mes BD

"Allez, en vous remerciant, bonsoir !"
Avatar du membre
Chninkel
Administrateur
Messages : 2266
Enregistré le : mar. sept. 13, 2005 21:04
Localisation : Gelbique

Message par Chninkel »

Chninkel a écrit :En parlant du point 1. je viens de tester sur 3000 albums. ça marche (5-10 minutes pour télécharger 3000 couvertures), mais ça bloque l'application pendant le téléchargement, donc il faut rendre le "loadXML" asynchrone :wink: (nb: pour être exact, je pensais que le téléchargement était déjà asynchrone, mais apparemment un détail m'échappe)
Youpie!! j'ai trouvé et corrigé un bête bug et maintenant ça ne bloque plus et ça télécharge 3000 (trois mille) couvertures en 50 secondes. cooool :danse:
Inventaire BD | Mes BD

"Allez, en vous remerciant, bonsoir !"
Avatar du membre
Cinoche
Commis de cuisine
Messages : 911
Enregistré le : dim. mai 31, 2009 16:10

Message par Cinoche »

Chninkel a écrit :
Chninkel a écrit :En parlant du point 1. je viens de tester sur 3000 albums. ça marche (5-10 minutes pour télécharger 3000 couvertures), mais ça bloque l'application pendant le téléchargement, donc il faut rendre le "loadXML" asynchrone :wink: (nb: pour être exact, je pensais que le téléchargement était déjà asynchrone, mais apparemment un détail m'échappe)
Youpie!! j'ai trouvé et corrigé un bête bug et maintenant ça ne bloque plus et ça télécharge 3000 (trois mille) couvertures en 50 secondes. cooool :danse:


:roi:
"Nous sommes ce que nous choisissons d'être".

Spider-Man
Avatar du membre
Chninkel
Administrateur
Messages : 2266
Enregistré le : mar. sept. 13, 2005 21:04
Localisation : Gelbique

Message par Chninkel »

Merchni :oops:

Au fait pour vous tenir au courant, j'ai testé d'inclure les couvertures dans le PDF que crée la petite application et ça marche :D (quelques secondes pour créer un PDF à partir du XML)

Yapluka mettre en forme joliment (on va faire pour un mieux) et conquérir le monde.

Pour les plus aventureux et les plus geeks, vous pouvez suivre les développements là : https://bitbucket.org/bdovore/bdopdf/commits/all

(voire participer :wink:)

et télécharger le code source pour compiler et s'amuser là : https://bitbucket.org/bdovore/bdopdf/downloads

Pour les autres, va falloir attendre encore un peu :)

EDIT: et bien entendu lire le code source là : https://bitbucket.org/bdovore/bdopdf/src
Inventaire BD | Mes BD

"Allez, en vous remerciant, bonsoir !"
Avatar du membre
Corwin
gourmand
Messages : 32
Enregistré le : mer. sept. 05, 2007 15:00
Localisation : Ambre

Message par Corwin »

Chninkel a écrit :Merchni :oops:

Au fait pour vous tenir au courant, j'ai testé d'inclure les couvertures dans le PDF que crée la petite application et ça marche :D (quelques secondes pour créer un PDF à partir du XML)

Yapluka mettre en forme joliment (on va faire pour un mieux) et conquérir le monde.

Pour les plus aventureux et les plus geeks, vous pouvez suivre les développements là : https://bitbucket.org/bdovore/bdopdf/commits/all

(voire participer :wink:)
Salut salut !
Je (re)viens un peu sur le forum pour voir l'avancement de la nouvelle version de BDovore et plus particulièrement sur ce sujet d'export PDF. C'est cool de voir que les choses bougent à nouveau !

Il y a quelques temps, en l'absence d'export pdf, je m'étais attelé petitement à la tache de mon coté pour recréer cette fonctionnalité. Via WampServer, je m'étais donc fait une petite page web avec quelques options à cocher, une base de données et un export pdf via la classe PHP FPDF (merci les tutos).
J'étais arrivé à un résultat plutôt sympa pour l'export PDF (par rapport à mes besoins perso), mais je me suis arrêté pour ce qui était de l'alimentation de la base de données. C'est pas que j'ai une grosse collection, mais j'étais limite en train de me refaire un BDovore à moi ce qui n'étais pas l'objectif premier (et pas spécialement utile vu que ca existe déjà et certainement en mieux que ce que j'aurai fait :P ). Et ca m'aurait pris vachement de temps en plus (eh oui, je ne suis pas développeur à la base, donc pas rapide rapide ... :? ). Mais bon, ca m'amusait de toucher au PHP, donc j'étais déjà content de moi d'en être arrivé là.
Je m'étais dit que j'aurai pu vous pousser mon travail, mais vu qu'à priori FPDF est plus lent que PDFlib (que vous utilisez pour BDovore, si je ne me trompe pas), les problèmes liés à l'hébergeur risquaient d'être les mêmes (en pire surement :P ). Et ayant un peu moins de temps de libre, j'avais laissé tombé tout ca.

Bref, je retombe sur la suite de ce sujet, et l'alternative de passer par un fichier xml. Du coup, ca m'intéresse à nouveau. Je suis une quiche en programmation objet, mais j'arrive vaguement à décrypter votre code, donc je vais voir si j'arrive à pondre un vague quelquechose qui pourrait aider.
Je vais essayer de vous pousser les pdf que j'avais généré via FPDF aussi pour voir ce que vous en pensez.

Par contre, je repense à quelque chose au niveau de l'export du site. Historiquement, on pouvait sélectionner la collection, les achats futurs et/ou les albums manquants. Et je dis bien ET, pas uniquement OU. Et c'était une possibilité que j'appréciais beaucoup, pour avoir les séries complètes dans le pdf, avec une différenciation entre les albums possédés et les achats futurs (qui avaient un fond grisé). Je ne sais pas s'il est possible de retrouver ce fonctionnement, mais ca permettrait d'avoir tout en un fichier.
Ah ! et un truc que j'aimais bien aussi, c'était d'avoir les détails de la série (genre, mais surtout avancement : one shot/en cours/terminé).
Voilà. Vu que ca se faisait à une époque, je me dis que ca ne doit pas être trop compliqué à réintégrer, mais bon, je ne suis pas dans les arcanes du site, donc j'en sais trop rien :wink: .

A suivre donc ...

Corwin

PS : et merci au fait ! C'est déjà énorme ce que vous proposez ! notworthy.gif
Avatar du membre
Chninkel
Administrateur
Messages : 2266
Enregistré le : mar. sept. 13, 2005 21:04
Localisation : Gelbique

Message par Chninkel »

On utilisait effectivement PDFLib jusqu'il y a quelques mois (quand l'export marchait encore pour à peu près tout le monde), mais on a dû passer à mPDF. Et on en est arrivé à la même conclusion que toi avec FPDF (qu'on avait testé aussi si je me rappelle bien).

Je rajoute l'export "ET" à la liste des choses à vérifier :-)
Corwin a écrit :et merci au fait ! C'est déjà énorme ce que vous proposez ! notworthy.gif
:)
Inventaire BD | Mes BD

"Allez, en vous remerciant, bonsoir !"
Avatar du membre
Chninkel
Administrateur
Messages : 2266
Enregistré le : mar. sept. 13, 2005 21:04
Localisation : Gelbique

Message par Chninkel »

Alors, ça commence à ressembler à quelque chose (tadaaam):

- environ 15-20 secondes pour télécharger 900 couvertures
- environ 10 secondes pour créer le fichier pdf sur mon vieux PC tout lent.

et on obtient ça (j'ai coupé à 40 séries sur 180, sinon le fichier fait 25Mo) :

https://bitbucket.org/bdovore/bdopdf/do ... sample.pdf

:D

Y a pas encore toutes les infos, faut que j'améliore l'export XML pour ça, mais je suis content d'avoir un résultat qui ressemble très fort à l'ancien export.

Sur-ce je vais me coucher, pas vu l'heure passer :?

EDIT : testé sur une collection de 3000 BDs, envrion 50 secondes pour télécharger les couvertures, et 20-25 secondes pour créer le PDF (80 Mo quand même, mais bon, 3000 couvertures ...) :D
Inventaire BD | Mes BD

"Allez, en vous remerciant, bonsoir !"
Répondre