[phpBB Debug] PHP Warning: in file [ROOT]/ext/tas2580/seourls/event/listener.php on line 213: Undefined array key "FORUM_NAME"
15.000 Fotos verwalten ? - REDAXO Forum
Hallo,

Wir haben in letzter Zeit festgestellt, dass die Kommunikation via Slack viel schneller und zielführender ist als ein Beitrag im Forum. Aufgrund der neuen und besseren Möglichkeiten der Kommunikation haben wir uns entschlossen das Forum nur noch als Archiv zur Verfügung zu stellen. Somit bleibt es weiterhin möglich hier nach Lösungen zu suchen. Neue Beiträge können nicht mehr erstellt werden.

Wir empfehlen, für deine Fragen/Probleme Slack zu nutzen. Dort sind viele kompetente Benutzer aktiv und beantworten jegliche Fragen, gerne auch von REDAXO-Anfängern! Slack wird von uns sehr intensiv und meistens "rund um die Uhr" benutzt :-)
Selbst einladen kannst Du dich hier: https://redaxo.org/slack/
DiDa
Beiträge: 24
Registriert: 18. Mai 2011, 12:30

15.000 Fotos verwalten ?

5. Dez 2013, 15:10

Hallo…

Kann mir jemand sagen, ob Probleme mit REDAXO zu befürchten sind, wenn 10.000 - 20.000 Fotos im Medienpool verwaltet werden sollen (für ein neues Projekt)?. Am liebsten würde ich die Fotos auf dem Server in separate Ordner aufteilen. Die dadurch entstehenden Probleme mit der Synchronisation wurden ja im Forum bereits diskutiert. Aus diesem Grund wage ich es evtl., ALLE 15.000 Fotos direkt unter /files zu speichern. Über Erfahrungen und Tipps dazu würde ich mich sehr freuen.

Gruß DiDa

Benutzeravatar
Ruediger.Nitzsche
Beiträge: 2117
Registriert: 13. Dez 2005, 09:29
Wohnort: Coburg
Kontaktdaten: Website

Re: 15.000 Fotos verwalten ?

5. Dez 2013, 17:42

Diese Dateianzahl in einem Ordner kann (CMS-unabhängig) immer zu Problemen führen, weil es zu hoher I/O-Last des Servers kommt.

Rüdiger
gn2 netwerk | gn2 hosting | REDAXO Referenzen | Github
Supportanfragen per PN werden gepflegt ignoriert

DiDa
Beiträge: 24
Registriert: 18. Mai 2011, 12:30

Re: 15.000 Fotos verwalten ?

8. Dez 2013, 14:04

Ruediger.Nitzsche hat geschrieben:Diese Dateianzahl in einem Ordner kann (CMS-unabhängig) immer zu Problemen führen, weil es zu hoher I/O-Last des Servers kommt.

Rüdiger
Vielen Dank für den Hinweis Rüdiger. Hast Du Erfahrungswerte darüber, wie viele Bilder in EINEM Ordner ein guter „Durchschnitts-Server“ (50 – 200 € /Monat) verkraftet? Ab wie viel Tausend Dateien in EINEM Ordner wird es kritisch? Alternativ, nur grob angedacht, könnte ich ein Bilder-Anzeige-Modul erstellen, das eingegebene UNTERORDNER direkt ausliest – ohne Zusatzinfos aus der Datenbank, je nach Kundenanforderung.

Dietmar

Benutzeravatar
Ruediger.Nitzsche
Beiträge: 2117
Registriert: 13. Dez 2005, 09:29
Wohnort: Coburg
Kontaktdaten: Website

Re: 15.000 Fotos verwalten ?

8. Dez 2013, 14:19

Hängt vom Dateisystem ab, aber so 15-20k sind eigentlich eine gängige Anzahl, wo es anfängt in der Praxis langsam zu werden, gerade bei normalen Festplatten, mit SSD und in der Theorie sind größere Zahlen möglich.

Rüdiger
gn2 netwerk | gn2 hosting | REDAXO Referenzen | Github
Supportanfragen per PN werden gepflegt ignoriert

Benutzeravatar
jdlx
Beiträge: 2615
Registriert: 29. Sep 2005, 10:50
Wohnort: Hamburg
Kontaktdaten: Website

Re: 15.000 Fotos verwalten ?

8. Dez 2013, 17:56

Ruediger.Nitzsche hat geschrieben:..15-20k sind eigentlich eine gängige Anzahl..
./generated/files/.. nicht vergessen:
15k * (1 + n * Bildtypen) + sonstiges dort..
vg, Jan

DiDa
Beiträge: 24
Registriert: 18. Mai 2011, 12:30

Re: 15.000 Fotos verwalten ?

8. Dez 2013, 22:22

Ruediger.Nitzsche hat geschrieben:Hängt vom Dateisystem ab, aber so 15-20k sind eigentlich eine gängige Anzahl, wo es anfängt in der Praxis langsam zu werden, gerade bei normalen Festplatten, mit SSD und in der Theorie sind größere Zahlen möglich.

Rüdiger
Danke für den Hinweis aus der Praxis Rüdiger. Vor dem Hintergrund könnte ich das Projekt mit „Bordmitteln“ beginnen – und meinem Kunden schon jetzt auf evtl. später notwendige „Erweiterungen“ hinweisen. Ich gehe davon aus, dass die Datenbank von Redaxo die Anzahl gut bewältigt.

Dietmar

DiDa
Beiträge: 24
Registriert: 18. Mai 2011, 12:30

Re: 15.000 Fotos verwalten ?

8. Dez 2013, 22:33

jdlx hat geschrieben:
Ruediger.Nitzsche hat geschrieben:..15-20k sind eigentlich eine gängige Anzahl..
./generated/files/.. nicht vergessen:
15k * (1 + n * Bildtypen) + sonstiges dort..
Jan, kannst Du mir bitte etwas mehr dazu sagen? Vermutlich meinst Du alle Dateien die „neben“ den JPGs, PNGs etc. außerdem noch in /files existieren – die evtl. vom System automatisch dort angelegt werden? Das dürften doch nicht so viele sein. Oder beachte ich etwas nicht?

Dietmar

Benutzeravatar
RexDude
Beiträge: 2543
Registriert: 22. Apr 2010, 11:24

Re: 15.000 Fotos verwalten ?

8. Dez 2013, 22:59

Kurz was zwischendurch:
Ich würde dir die 4.5.1 empfehlen für dein Projekt. Der Ladegeschwindikeit des Mediepools bei vielen Bildern ist dort verbessert worden. und schau das du ordentlich Medienkategorien einsetzt :)

Benutzeravatar
RexDude
Beiträge: 2543
Registriert: 22. Apr 2010, 11:24

Re: 15.000 Fotos verwalten ?

8. Dez 2013, 23:02

Achso: letztenendlich kann nur die Praxis zeigen wie die Performance wirklich ist. Du könntest also vorab einfach deine Urlaubsfotos in einen Ordner packen, diese duplizieren (falls nicht genung) und dann alle in den Mediepool syncen und schauen ob die Performance akzeptabel ist.

DiDa
Beiträge: 24
Registriert: 18. Mai 2011, 12:30

Re: 15.000 Fotos verwalten ?

9. Dez 2013, 00:39

RexDude hat geschrieben:Achso: letztenendlich kann nur die Praxis zeigen wie die Performance wirklich ist. Du könntest also vorab einfach deine Urlaubsfotos in einen Ordner packen, diese duplizieren (falls nicht genung) und dann alle in den Mediepool syncen und schauen ob die Performance akzeptabel ist.
Danke. Gute Idee mit dem "FotoMassenTest"!
4.5.1 habe ich schon eingeplant – läuft auch gut in einer Testversion.
Es wird ca. 300 Kategorien im Medienpool auf der ersten Ebene geben. Unter jeder Kategorie dann 8 – 30 Unterkategorien mit jeweils 1 – 10 Fotos. Langfristig könnten so auch 30.000 Fotos zusammen kommen. Daher denke ich auch über eine Auslagerung der Fotos auf z. B. Amazon AWS nach. Was natürlich einfacher zu realisieren wäre, wenn der Kundenwunsch keine Zusatz-Texte zu den Bildern erfordert.

Benutzeravatar
jdlx
Beiträge: 2615
Registriert: 29. Sep 2005, 10:50
Wohnort: Hamburg
Kontaktdaten: Website

Re: 15.000 Fotos verwalten ?

9. Dez 2013, 02:14

DiDa hat geschrieben:Vermutlich meinst Du alle Dateien die „neben“ den JPGs, PNGs etc. außerdem noch in /files existieren – die evtl. vom System automatisch dort angelegt werden? Das dürften doch nicht so viele sein. Oder beachte ich etwas nicht?
In ./redaxo/include/generated/files/.. - du hast für jede mpool Datei erstmal eine *.media Datei, plus für jeden IMM Bildtypen nochmal eine Cachedatei.. REX selbst hat für den mpool schon 3 Bildtypen.. d.h. mind. 4 x 15k files für die Bilder - nota bene in eben einem Ordner - sprich das I/O Thema das Rüdiger ansprach. Und richtig, die sonstigen files dort sind dahingehend dann schon wurscht..

Bezügl. sehr vieler files in einer mpool cat ist auch die Latenz der IMM Aufrufe bzw. das session locking ein Thema welches zur Netto-Ladezeit der reinen Bilddaten dazukommt.

Bedenke auch z.b.: einmal @ System den Cache geleert, und dein Server darf erstmal wieder sukzessive sämtliche IMM cachefiles neu erstellen..

Ich würde da wirklich mal ne Dummy install mit jetzt prognostizierbarer Bilderanzahl plus gutem Puffer aufsetzen und das testen..
Zuletzt geändert von jdlx am 9. Dez 2013, 10:53, insgesamt 1-mal geändert.
vg, Jan

Benutzeravatar
RexDude
Beiträge: 2543
Registriert: 22. Apr 2010, 11:24

Re: 15.000 Fotos verwalten ?

9. Dez 2013, 10:42

yo, richtig, die ganzen mediepool files und cache files die redaxo anleg kommen ja auch noch hinzu.

wirst du denn damit slider etc. befüllen oder was passiert dann mit den bildern die im mediepool sind?

Benutzeravatar
Xong
Beiträge: 2081
Registriert: 5. Jun 2008, 08:30
Wohnort: Halle (Saale)

Re: 15.000 Fotos verwalten ?

9. Dez 2013, 11:33

Ich hab hier ´ne Redaxo 4.2 mit 14.500 Dateien im files-Ordner und 30.000 Cachedateien: Bisher keine Probleme.
LG,
Xong

[ externes Bild ] Määääääääääääääääääääääääh!

DiDa
Beiträge: 24
Registriert: 18. Mai 2011, 12:30

Re: 15.000 Fotos verwalten ?

9. Dez 2013, 12:19

RexDude hat geschrieben:yo, richtig, die ganzen mediepool files und cache files die redaxo anleg kommen ja auch noch hinzu.

wirst du denn damit slider etc. befüllen oder was passiert dann mit den bildern die im mediepool sind?
Ja, es gibt es einen JS-Slider mit 2-10 Fotos in ca. 7 Unterkategorien in jeder der mind. 300 Hauptkategorien.
In anderen Unterkategorien werden Fotos einzeln platziert – und je nach (noch zu klärender) Kundeanforderung, auch bei Klick vergrößert, evtl. mit einem JS-Galerie-Script.
Mein Plan B wäre, mit einem PHP-Slidermodul direkt die JPGs im jeweiligen Unterverzeichnis auszulesen – ohne Medienpool. Da das Ordner-Auslesen bei jedem Seitenaufruf stattfinden würde, müsste ich auch bei dieser Variante die Geschwindigkeit im Vorfeld checken.

DiDa
Beiträge: 24
Registriert: 18. Mai 2011, 12:30

Re: 15.000 Fotos verwalten ?

9. Dez 2013, 12:40

Xong hat geschrieben:Ich hab hier ´ne Redaxo 4.2 mit 14.500 Dateien im files-Ordner und 30.000 Cachedateien: Bisher keine Probleme.
Danke Xong, das macht zuversichtlich. Parallel bin ich auch an Lösungen interessiert, die auch bei weit größeren Datenmengen performen. Auch wenns extra kostet. Genaueres erfahre ich in einigen Tagen.

Erst einmal Danke an alle für die rege Beteiligung!

Benutzeravatar
jdlx
Beiträge: 2615
Registriert: 29. Sep 2005, 10:50
Wohnort: Hamburg
Kontaktdaten: Website

Re: 15.000 Fotos verwalten ?

9. Dez 2013, 16:38

Also, ich hab das mal aus Neugier - u.a. aufgrund xongs feedback - mal lokal getestet:
30.000 Klone einer 455kb Bilddatei, 300 mpool Rootkategorien mit je 10 Unterkategorien, und dort je 10 der Bild-Klone.. desweiteren 3 IMM Varianten der Bildcaches in generated erzeugt (dort 96.663 files)..:

Wesentlich besser als ich erwartet hätte. Der mpool lahmt zwar deutlich beim öffnen - ca. 6-7s für den pageload - aber nicht unüberlebbar. Frontend IMM Latenzen sind halt deutlich höher, aber auch noch brauchbar..

Denke die Nummer steht und fällt mit dem Server.. lokal ists halt ein i7 mit quasi beliebig RAM und SSD. Vulgo: Szenario auf anvisiertem Server mal nachbilden und kucken was geht..
vg, Jan

Benutzeravatar
Xong
Beiträge: 2081
Registriert: 5. Jun 2008, 08:30
Wohnort: Halle (Saale)

Re: 15.000 Fotos verwalten ?

9. Dez 2013, 17:07

Also der Server, den ich kenne, hat natürlich auch jede Menge Power und ein Memorylimit von 128M.
Aber gerade beim Medienpool und der Kategorie-/Artikelstruktur kann man schon viel rausholen, wenn man in der Datenbank ein paar Indexe anlegt.
LG,
Xong

[ externes Bild ] Määääääääääääääääääääääääh!

Thomas.Skerbis
Beiträge: 1371
Registriert: 4. Aug 2006, 14:06
Wohnort: Rheinberg
Kontaktdaten: Website Twitter

Re: 15.000 Fotos verwalten ?

10. Dez 2013, 12:18

Die andere Frage ist, macht es überhaupt Sinn so viel Bildmaterial mit dem Medienpool zu verwalten?
Eine Anbindung/Addon für pydio würde da evtl. sicher mehr Sinn machen.
Wenn ich das richtig verstehe, ist ab Redaxo 5 der Medienpool nur noch ein Addon. Mit Pydio könnte Redaxo eine mächtige Medienverwaltung erhalten. Was meint Ihr?

Dem aktuellen Medienpool fehlen aus meiner Sicht nötige Browsing-Funktionen um die Auffindbarkeit von Bildern zu erleichtern. Nützlich wäre eine "Finder-ähnliche" Darstellung (Spaltenansicht) um durch die Kategorien zu browsen.

Benutzeravatar
RexDude
Beiträge: 2543
Registriert: 22. Apr 2010, 11:24

Re: 15.000 Fotos verwalten ?

10. Dez 2013, 12:25

@skerbis: Pydio kannt ich noch gar nicht. Könnte man sicherlich schön in ein Addon verpacken :D

Ich persönlich finde den Moxie Manager ziemlich geil (is aber net OS) und würde mir so irgendwann mal den Medienpool wünschen :)

http://www.moxiemanager.com/demos/index.php (auf Browse klicken)

Thomas.Skerbis
Beiträge: 1371
Registriert: 4. Aug 2006, 14:06
Wohnort: Rheinberg
Kontaktdaten: Website Twitter

Re: 15.000 Fotos verwalten ?

10. Dez 2013, 12:36

Ja Moxie Manager kenne ich. Kostet leider Geld. Pydio (früher Ajaxplorer) ist frei (Community Edition) und bietet extrem viele Möglichkeiten zur Bearbeitung und Cloudanbindung inkl. fertige Apps für Smartphones. Sogar Git ist möglich

Benutzeravatar
jdlx
Beiträge: 2615
Registriert: 29. Sep 2005, 10:50
Wohnort: Hamburg
Kontaktdaten: Website

Re: 15.000 Fotos verwalten ?

10. Dez 2013, 14:27

Redaxo ist kein enterprise CMS (und wird auch nicht werden).. insofern sind DAM Anbindungen jeglicher Art eher eine per Kunde Sonderlösung aber kaum etwas das allg. Sinn macht.

Das der Medienpool as is ziemlich beschränkt ist ist keine Frage, aber imho ließen sich die meisten Beschränkungen "inhouse" lösen ohne auf externe Lösungen (und somit Abhängigleiten) setzen zu müssen.
vg, Jan

Thomas.Skerbis
Beiträge: 1371
Registriert: 4. Aug 2006, 14:06
Wohnort: Rheinberg
Kontaktdaten: Website Twitter

Re: 15.000 Fotos verwalten ?

10. Dez 2013, 15:55

@jdlx ... es ging ja um die Verwaltung großer Datenbestände. In dem Fall kann man ja über eine Bridge oder Addon mit Anbindung an Pydio oder Ähnlichem nachdenken. Für die üblichen Redaxo-Aufgaben würde sicher eine bessere Strukturierung des Medienpools sorgen.
Redaxo ist kein enterprise CMS (und wird auch nicht werden)
Das glaube ich nicht. Redaxo ist so offen für alle möglichen Erweiterungen, so dass es zu Allem erdenklichen gemacht werden kann. Ein Enterprise CMS ist nicht das CMS mit den meisten hauseigenen Funktionen, sondern das, welches sich am besten an das Unternehmen anpassen lässt.

Benutzeravatar
jdlx
Beiträge: 2615
Registriert: 29. Sep 2005, 10:50
Wohnort: Hamburg
Kontaktdaten: Website

Re: 15.000 Fotos verwalten ?

10. Dez 2013, 16:55

Skerbis hat geschrieben: ... es ging ja um die Verwaltung großer Datenbestände. In dem Fall kann man ja über eine Bridge oder Addon mit Anbindung an Pydio oder Ähnlichem nachdenken.
Nachdenken kann man, klar.. ich war aufgrund eines Kunden auch mal kurz an ner Cumulus Integration dran (sprich _wirklich_ große Datenbestände).. aber da wurd nix draus, u.a. weil das user/perms Management von REX eben nicht wirklich enterprise tauglich ist.. und natürlich auch der "no one ever got fired.. IBM" Faktor, der aber auch nicht gänzlich aus der Luft gegriffen ist hinsichtlich welche Planungssicherheit hat man mit framework X das man sich ins Haus holt.

Darüberhinaus steckt der Teufel natürlich im Detail.. master/slave Thematik und alle daraus resultierenden topics, User Management, usw. das is letztlich ein ziemliches Faß.
Skerbis hat geschrieben:Redaxo ist so offen für alle möglichen Erweiterungen, so dass es zu Allem erdenklichen gemacht werden kann.
Intern ja, nach aussen weniger.. REX ist natürlich erstmal für sich als autonomes framework konzipiert.. versuch mal die REX Userverwaltung an eine externe anzubinden, irgendwelche perms von dort zu rex perms zu mappen usw. Gehen tut das irgendwie bis zu nem bestimmten Grad, aber da mußt du REX dann schon echt zerflücken und darfs alles zu Fuß von Grund auf machen. Graue Haare und so..
Skerbis hat geschrieben:Enterprise CMS ist nicht das CMS mit den meisten hauseigenen Funktionen, sondern das, welches sich am besten an das Unternehmen anpassen lässt.
Anpassen kann man immer alles.. nur zu welchem Preis. Darüberhinaus s.o: Enterprise bedeutet u.a. Planungssicherheit für die Entscheider.. hinsichtlich Support, Updates, Roadmaps, Dokumentation etc. Das mag man aus Sicht eines einzelnen Webdevs oder einer Agentur evtl. mit einem ja oder ausreichend beantworten, ein Enterprise Kunde wird dich da eher auslachen.
Das man mit REX erstaunliches hinbekommen kann, daß es ein angenehmes Konzept für devs und ein zugängliches backend für Redakteure hat ist eben ab einem bestimmten Punkt nicht alles.
vg, Jan

Thomas.Skerbis
Beiträge: 1371
Registriert: 4. Aug 2006, 14:06
Wohnort: Rheinberg
Kontaktdaten: Website Twitter

Re: 15.000 Fotos verwalten ?

10. Dez 2013, 17:41

...aber da mußt du REX dann schon echt zerflücken und darfs alles zu Fuß von Grund auf machen. Graue Haare und so..
Hmm.. da magst Du Recht haben. Sehe aber ähnliche Probleme auch bei vielen anderen Systemen. (hatte schon mal meinen Spaß mit Typo3 und LDAP) . Na ja.

DiDa
Beiträge: 24
Registriert: 18. Mai 2011, 12:30

Re: 15.000 Fotos verwalten ?

26. Dez 2013, 18:41

Status
Erst einmal vielen Dank an Xong für den Performance-Test mit den tausenden Dateien! Und Dank an alle die sich in das Thema hineingedacht haben.
Ich habe jetzt mehr Kundeninfos. Die Anzahl der Seiten und der Bilder wird anscheinend noch höher. In der höchsten Ausbaustufe ca. 120.000 Bilder in 600 Kategorien in jeweils 20 Unterkategorien.
Die Bilder werde ich daher nicht im Medienpool verwalten. Redaxo-Module für Bilder (script unten) greifen in einem durchgeführten Test direkt auf den Server zu. Evtl. auch auf Amazon CloudFront.

Bei dem Projekt werde ich wahrscheinlich die Grenzen von Redaxo ausloten. Für die höchste Ausbaustufe ist auch ein Wechsel des CMS möglich. Evtl. Magnolia Enterprise-CMS mit Java Content Repository. Die bis dahin mit Redaxo gewonnenen Nutzererfahrungen könnten dann ideal dort einfließen. Ich werde später hier noch einmal berichten, falls und wenn das Projekt umgesetzt wurde.

Dietmar

----- Modul: Bilder für einen Slider aus einem Ordner einlesen - ohne Medienpool ----
(das Einlesen funktionierte beim Testen erstaunlich schnell. Textzusatzinfos zum Bild gibt es hier nicht - evtl. könnte man die in den Bildmetadaten unterbringen und auslesen.)

Code: Alles auswählen

#----------- Eingabe --------------------

<strong>Pfad zu den Bildern</strong>: </br>
<input type="text" size="80" name="VALUE[1]" value="REX_VALUE[1]" /> <br /><br />
</br>


#----------- Ausgabe --------------------

<div id="slider"> 
<div id="full-width-slider" class="royalSlider heroSlider rsMinW"> 

<?php
// Ordnername 
$ordner = $REX['HTDOCS_PATH']."REX_VALUE[1]"; 

if (file_exists($ordner)) {
if (is_dir($ordner)) {

// Ordner auslesen und Array in Variable speichern
$allebilder = scandir($ordner); // Sortierung A-Z
// Sortierung Z-A mit scandir($ordner, 1)               				

// Schleife um Array "$alledateien" aus scandir Funktion auszugeben
foreach ($allebilder as $bild) {

	$bildinfo = pathinfo($ordner."/".$bild); 

	// Größe ermitteln für Ausgabe
	$size = ceil(filesize($ordner."/".$bild)/1024); 

	if ($bild != "." && $bild != ".."  && $bild != "_notes" && $bildinfo['basename'] != "Thumbs.db") { 

  echo '<div class="rsContent">';
  echo '<img class="rsImg" src="'.$bildinfo['dirname']."/".$bildinfo['basename'].'" />';
  echo '</div>';
  }
}
} else {echo '<strong style="color: #AF112F";>Der Pfad<span style="color: #000";>'.$ordner.'</span> zeigt auf eine Datei! Hier nur Ordner auswählen und keine Datei!</strong>';}
} else {echo '<strong style="color: #AF112F";>Der Ordner <span style="color: #000";>'.$ordner.'</span> existiert nicht!</strong>';}
?>
</div>
</div>

Zurück zu „Allgemeines [R4]“