Hoher Speicherbedarf

[lieblb]

Momentan ist der Platzbedarf für die analysierten Dateien (also die Größe von data/some_ilias/scanAssessment/tst_xyz/scans/analysed) relativ groß, bei einem 9-seitigen Test mir 300 dpi kommen da für einen Teilnehmer 75MB zusammen.

Bei einem Test mit 500 Teilnehmern handelt man sich hier also 37,5 GB ein, was, wenn man nicht einen Test hat, sondern, sagen wir, 20, und die dann auch noch irgendwie archivieren will (zumindest für einige Monate), zu einem Thema wird.

Ich frage mich, ob hier die optionale Umstellung der Pipeline auf png (auch) einen Vorteil brächte.

EDIT Die obige Vermutung mit pngs stellt sich nach einigen Tests als nicht haltbar heraus. Tatsächlich sind die pngs meist noch größer.

[gvollbach]

Ja, das ist jetzt eine Frage was man da machen soll, die Daten fallen ja nun mal an, das einzige was man machen könnte ist das ganze auf eine fest definierte Größe noch runter zurechnen. Aber dann sind die debug logs an der Stelle nicht mehr wirklich hilfreich, weil dort dann von anderen Werten die rede ist. Die Dateien runter zurechnen vor der Analyse halte ich auch nicht für einen wirklich guten Weg, aber das ist z.B. ein guter Punkt den man mal am Mittwoch vor Ort auf der SIG EA mal besprechen/brainstormen kann. Auch die Frage wie man mit der Archivierung von den ganzen Sachen umgeht wäre eine Diskussion Wert, da die Daten nachdem die Ergebnisse zurückgeführt wurde eigentlich nicht mehr wirklich relevant sind, bzw. man ja auch noch die Papierklausur hat, die werden ja eher weniger nach dem scannen dem Aktenvernichter zugeführt.

[lieblb]

Habe ein paar Experimente gemacht, um mit der aktuellsten Version den Speicherbedarf für die verschiedenen Varianten (jpg, png, gif) mit zwei verschiedenen Prüfungsseiten (eine mit wenigen Fragen, eine andere mit vielen Fragen) zu testen.

Hier das Ergebnis:

Scanklausur - Platzbedarf und Analysezeit.xlsx

Bei einer größeren Klausur (250 Teilnehmer, 10 Seiten pro Teilnehmer) liegt die Analysezeit danach derzeit zwischen 7 und 30 Stunden, der Speicherbedarf zwischen 10 und 20 GB (bei 300 dpi).

[gvollbach]

Das sind schon mal recht interessante Daten, allerdings was muss ich mir hier unter wenig und viel Inhalt vorstellen, bezieht sich das nur auf die Anzahl der Fragen auf der Seite?

Weil dann finde ich die Werte etwas eigenartig, oder sind die Texte vertauscht, mich wundert es gerade das es länger dauert mit der Analyse wenn weniger Inhalt auf der Seite ist.

[lieblb]

Die Menge von Inhalt bezieht sich tatsächlich auf die Anzahl Fragen auf der Seite. Die Zahlen sind nicht vertauscht, sind aber irreführend, weil letztendlich wohl der entscheidende Faktor ist, wie viele Iterationen die Markererkennung durch Rotation usw. braucht, also wie gedreht z.B. die Seite ist, und offenbar waren halt zufällig die Seiten mit dem Test mit wenigen Fragen mehr gedreht als die Seiten vom Test mit den vielen. Das ist also Zufall, glaube ich.