Samba verliert die Connection

(DE) System, Installation, Konfiguration, Hardware, Treiber, Netzwerk, Virtualisierung, etc.
(EN) System, Installation, Configuration, Hardware, Drivers, Network, Virtualisation, etc.
User avatar
DonLucio
Posts: 594
Joined: Sun 29. Dec 2013, 01:14
Location: Hamburg

Post by DonLucio »

Gerade fällt mir noch etwas auf:
Das EXT4-Dateisystem hält seine Dateien offenbar unsortiert vor. Wenn ich eine FTP-Session aufmache (Kommandozeile), mich in die Qnap einlogge und ein dir (oder ls) gebe, dann kommen die Dateien in irgendeiner Sortierfolge, aber nicht alphabetisch. Vermutlich nach physischem Erstellungsdatum.

Das ist ja bei HPFS und JFS anders. Möglicherweise kriegen Programme, die eine Alpha-Sortierfolge erwarten, Probleme, wenn ihnen die Dateiliste vom Server in unsortierter Form geliefert wird.

Fragen über Fragen ...

Gruß,
Don Lucio.

User avatar
LotharS
Posts: 744
Joined: Sun 29. Dec 2013, 20:07
Location: Düsseldorf

Post by LotharS »

DonLucio wrote:
Wed 3. Feb 2021, 14:30
Gerade fällt mir noch etwas auf:
Das EXT4-Dateisystem hält seine Dateien offenbar unsortiert vor. Wenn ich eine FTP-Session aufmache (Kommandozeile), mich in die Qnap einlogge und ein dir (oder ls) gebe, dann kommen die Dateien in irgendeiner Sortierfolge, aber nicht alphabetisch. Vermutlich nach physischem Erstellungsdatum.
Hatte ich schon "gefürchtet", dass ein userfreundlicher FOC für die Anzeige intern erst alles alphanumerisch sortiert. Der alte FOC lieferte ja weit weniger Infos als der neue und kam mit Zeit und Speicher möglicherweise besser hin. In meinem LSZipWizard hatte ich einen Testfall mit ca. 46000 unsortierten Einträgen konstruiert und schließlich das Ärgste nicht lösen aber "elegant" ;) umgehen können (sh. oben "magische 32k"). Wie zuvor diskutiert, eventuell aber nicht der einzige "Wurm" im System (???).
DonLucio wrote:
Wed 3. Feb 2021, 13:54
LotharS wrote:Ich nehme an, Du verteilst auf dem NAS Deine Sammlung nach für Dich geeigneten übersichtlichen Ordnungsprinzipien.
Eben nicht. Die 50.000 mp3-Dateien sind im Dateisystem nur nach Artist und Album untergliedert. Die weitere Unterteilung, z.B. in Stil: Klassik, Pop, Jazz, Blues etc. passiert in einer selbstgestrickten Datenbank-Anwendung (CDMagic, ein Programm, das vor 10 Jahren hier auch schon einige Dutzend Anwender gefunden hatte; was aber in Zeiten von Streaming, Spotify etc. aus der Mode gekommen ist).

In meiner bisherigen, vor-NAS-Welt, waren alle diese MP3-Dateien auf lokalen Fetsplatten gespeichert. Aus historischen Gründen aber auf mehrere Festplatten verteilt. Das CDMagic-Programm ist darauf ausgelegt, einen gesuchten Titel auf einem beliebigen Laufwerk zu finden, solange dort ein Unterverzeichnis x:\CDMagic existiert. Das hat aber im Laufe der Jahre zu einiger Unübersichtlichkeit geführt (z.B. Doubletten), sodass ich froh war, mit der NAS ein Speichersystem zu haben, das es mir erlaubt, sämtliche MP3-Dateien an einem Ort zu speichern, ein Ort, der per Samba einem Laufwerksbuchstaben zugeordnet wird.
Ahaaa. In einer relationalen Datenbank (DB2, mysql) sind die Daten auch nur unsortiert hintereinander abgelegt. Abrufen und/oder dabei Sortieren sowie Managen macht deren Software - tunlichst auf dem Server. Der Client weiß idR nur die nötigen Häppchen.
Wenn ich's korrekt aber mit anderen Worten näherungsweise verstehe?:
(1) Deine "alte Datenbank" lag - in mehreren Segmenten (Laufwerken) verteilt - auf Deinem lokalen Rechner, und das CDMagic war die konfektionierende DB-Software auf diesem "Server".
(2) Jetzt liegt die Datensammlung "flach" auf dem NAS-Server, deren logische Struktur aber erst auf dem Client gebildet wird. So als ob ich mir ganz Hobbes hier unten per Javascript durchsuchen und auflisten würde...
Du brauchst eigentlich ein "CDMagic", welches oben auf dem NAS ausgeführt wird :idea: Schau mal bei Google unter "QNAP mysql" (Fürn Anfang tut php auch mit csv-Files...), macht schon unruhig :ugeek: . Sofern dieselbe Idee nicht schon Hunderte hatten und für $$ anbieten :)
Diese Sphären haben aber noch nichts mit dem OP-Problem zu tun, wo es "nur" um herkömmliche Datenorgansiation geht.

User avatar
DonLucio
Posts: 594
Joined: Sun 29. Dec 2013, 01:14
Location: Hamburg

Post by DonLucio »

LotharS wrote:
Wed 3. Feb 2021, 18:06
Ahaaa. In einer relationalen Datenbank (DB2, mysql) sind die Daten auch nur unsortiert hintereinander abgelegt. Abrufen und/oder dabei Sortieren sowie Managen macht deren Software
Genau :-)

LotharS wrote:Wenn ich's korrekt aber mit anderen Worten näherungsweise verstehe?:
(1) Deine "alte Datenbank" lag - in mehreren Segmenten (Laufwerken) verteilt - auf Deinem lokalen Rechner, und das CDMagic war die konfektionierende DB-Software auf diesem "Server".
(2) Jetzt liegt die Datensammlung "flach" auf dem NAS-Server, deren logische Struktur aber erst auf dem Client gebildet wird. So als ob ich mir ganz Hobbes hier unten per Javascript durchsuchen und auflisten würde...
Präzise !

LotharS wrote:Du brauchst eigentlich ein "CDMagic", welches oben auf dem NAS ausgeführt wird
Vielleicht, ... nicht unbedingt. Es ist ja nicht CDMagic, das mit Samba Probleme hat. CDMagic ist nur verantwortlich dafür, dass ich überhaupt soviele MP3-Dateien habe. Dass diese Dateien auf der NAS alle "flach" in einer einzigen Verzeichnisstruktur abgelegt werden, ist nun meine ureigene Entscheidung. Ich hätte auch eine verteilte Ordnerstruktur wählen können (was ich aus zuvor schon erwähnten Gründen aber nicht möchte).

Das Problem hätte ich eigentlich noch viel stärker mit Foto-Dateien (JPGs etc.) haben müssen. Und ich denke, da bin ich nicht der einzige, der viele zehntausend Fotos gespeichert hat. Glücklicherweise sind aber die Dateien üblicherweise in ganz vielen verschiedenen Verzeichnissen gespeichtert, vielleicht sogar auf alle Platten verteilt. Also wenn so ein NAS-OS/2-User auf die Idee käme, alle Fotos auf der NAS in einem flach organiserten Share zu speichern, hätte er dieselben Probleme wie ich. Mit PMView, mit PmFax. Ok, mit Embellish nicht :-)

Das nur so als ergänzende Bemerkung.

Gruß,
Don Lucio.

eCSBenutzer
Posts: 290
Joined: Fri 10. Jan 2014, 07:24
Location: 641m ü. NN

Post by eCSBenutzer »

Mein Beitrag dazu: Unter eCS2.1 ist eindeutig netdrive/samba als Ursache des Problems zu erkennen. Inzwische habe ich drei QNap TS (410,420 und 451). Die Anzahl der Dateinen ist nicht das Problem. Auf dem 410 liege 100k Dateien aus Backups und die sind alle mit dem FC draufkopiert worden. Ohne Probleme nur mit viel Zeitaufwand. Wenn ich mit dem PMView auf den 420 (noch der Multimedianapf) zugreife dann beendet sich nicht nur PMView sondern auch NDFS. Diese Verhalten ist auch zu erkennen, wenn ich mit FC2 zugreife und die Platten im Qnap erst mal hochfahren müssen. NDFS hat sich beendet (alle Freigaben aus der GUI weg und es muss neu gestartet werden: ControlProgramm - Start.
Jetzt z.B. läuft im Hinterdgrund z.B. Z! mit einem Stream (MP3) vom 420. Und da sind auch mehre k MP3s drauf. Wo das Problem letztendlich liegt weis ich auch nicht. Bei einem Fritzbox-Nas ist dieses Verhalten nicht zu beobachten! Die hat dafür andere Macken.
Da Speicherplatz unter eCS/AOS nicht mehr das Problem sind könnte ein sync zwischen z.B QNap und eCS helfen. Schon mal wegen des Backupproblems - welches ja auch beim Nas besteht: Ein RAID ist kein Backup!!!!

User avatar
DonLucio
Posts: 594
Joined: Sun 29. Dec 2013, 01:14
Location: Hamburg

Post by DonLucio »

eCSBenutzer wrote:
Sat 6. Feb 2021, 11:49
Mein Beitrag dazu: Unter eCS2.1 ist eindeutig netdrive/samba als Ursache des Problems zu erkennen.
Ja, schon allein deswegen, weil in eCS es noch nicht den erweiteren FOC gibt (den ich ja hauptsächlich in Verdacht habe/hatte).

Inzwischen stelle ich aber ebenfalls fest, dass die Probleme mit Verbindungsgabbrüchen nicht eindeutig entlang der Linie "Alter FOC: gut - Neuer FOC: böse" verläuft. Ich denke inzwischen eher: GUI-> Problem (nicht immer), VIO/Komandozeile->keine Probleme. Das entnehme ich deinen Ausführungen ebenfalls.

eCSBenutzer wrote:Inzwische habe ich drei QNap TS (410,420 und 451).
Respekt! :P Was machst du mit so viel Terabytes ....

Frage (mal OT): Betreibst du die alle in RAID? Und wenn ja, welche RAID-Level?
Du schreibst ja sehr richtig: "Ein RAID ist kein Backup!!!!" Wie löst du das denn bei deinen (offenbar) gigantischen NAS-Datenmengen?

Speziell für die 451 würde mich mal interessieren: Ist die Geräuschentwicklung noch so, dass man sie neben sich im Büro aufstellen kann? Oder muß die Kiste in einen schallgedämpften Keller?

eCSBenutzer wrote:Jetzt z.B. läuft im Hinterdgrund z.B. Z! mit einem Stream (MP3) ...
Das gute alte Z!. Ist auch bei mir der mit Abstand häufigst eingesetzte MP3-Client. Schade, dass uns da mit Dink ein genialer OS/2-Programmierer abhanden gekommen ist.

Das nur am Rande.

Gruß,
Don Lucio.

User avatar
LotharS
Posts: 744
Joined: Sun 29. Dec 2013, 20:07
Location: Düsseldorf

Post by LotharS »

Wer zufällig das volle Netdrive incl letztem Update besitzt - und überhaupt noch Zeit und Lust hat ;) - könnte mal probieren, im NAS dessen Ftp-Server zu konfiguriren und in ArcaOS statt ArcaMapper den Netdrive mit original Ftp-Plugin als Client zu verwenden. Sollte eigentlich die gleiche virtuelle Verzeichnisstruktur liefern, zu "EAs" bin ich nicht sicher.

aschn
Posts: 1102
Joined: Wed 25. Dec 2013, 22:47

Post by aschn »

Hat der QNAP eigentlich WebDAV? Dann wär das vielleicht auch mit Netdrive und dem netlabs.org-Plugin ein geeignetes Protokoll. EAs werden dort natürlich grundsätzlich nicht unterstützt. Wer braucht die aber auch bei Multimedia-Dateien oder solchen, die sowieso aus dem Netz kommen. Für Sicherungen von Partitionen bräuchte man die auch nicht. Oder hab ich jetzt etwas nicht beachtet?
Andreas Schnellbacher

eCSBenutzer
Posts: 290
Joined: Fri 10. Jan 2014, 07:24
Location: 641m ü. NN

Post by eCSBenutzer »

DonLucio wrote:
Sat 6. Feb 2021, 17:02
eCSBenutzer wrote:Inzwische habe ich drei QNap TS (410,420 und 451).
Respekt! :P Was machst du mit so viel Terabytes ....
Nun ja, viele Filme vom Receiver und Fotos und dann natürlich noch die MP3s und Wavs... Da wurden die 8TB (7,...TB) langsam end
DonLucio wrote:
Sat 6. Feb 2021, 17:02
Frage (mal OT): Betreibst du die alle in RAID? Und wenn ja, welche RAID-Level?
Also die Multimediadateien hatte ich Raid0 betrieben - ich weis, wenn eine HDD.... Nachdem mir nun die Überwachung des QNap gemeldet hat, zwei Platten wären nicht mehr so toll habe ich mich auch wegen der Kopierorgie entschieden, was schnelleres zu holen. Der 420 bekommt ein RAID5 mit 4x4TB WD-Nas-Platten Der 410 ist auf RAID5 und hatte die Datenbackups von allem was bei mir kreucht und fleucht. 4x1 wird auch langsam eng. Die Daten kopiere ich gerade auf den 452 - per Samba vom eCS2.1 Server - sind wohl an die 2000k Dateien! Dauert ein paar Tage. Dann Platte ersetzen und alles wieder zurück.....
DonLucio wrote:
Sat 6. Feb 2021, 17:02
Speziell für die 451 würde mich mal interessieren: Ist die Geräuschentwicklung noch so, dass man sie neben sich im Büro aufstellen kann? Oder muß die Kiste in einen schallgedämpften Keller?
Also für alle (meine) Qnap gilt: Die sind absolut Bürotauglich. Wohnzimmer vielleicht nicht. Was man hört ist wenn die Platten hochlaufen. Man kann die natürlich immer laufen lassen - aber dann ist der Energiebedarf halt höher. Die Geräte kann man natürlich im Keller laufen lassen, den wann muss man mal ran? Der 451 läuft derzeit im Trempel...
DonLucio wrote:
Sat 6. Feb 2021, 17:02
Das gute alte Z!. Ist auch bei mir der mit Abstand häufigst eingesetzte MP3-Client. Schade, dass uns da mit Dink ein genialer OS/2-Programmierer abhanden gekommen ist.
Was er wohl jetzt macht?
LotharS wrote:
Tue 9. Feb 2021, 19:48
Wer zufällig das volle Netdrive incl letztem Update besitzt - und überhaupt noch Zeit und Lust hat ;) - könnte mal probieren, im NAS dessen Ftp-Server zu konfiguriren und in ArcaOS statt ArcaMapper den Netdrive mit original Ftp-Plugin als Client zu verwenden. Sollte eigentlich die gleiche virtuelle Verzeichnisstruktur liefern, zu "EAs" bin ich nicht sicher.
Also FTP ist kein Thema. Ich habe über Netdrive auch den FTP-Zugang zum QNap konfiguriert. Als Systemzugang für Reparaturen. Mach ich Grundsätzlich für Linuxgeräte.
aschn wrote:
Tue 9. Feb 2021, 21:12
Hat der QNAP eigentlich WebDAV?
Ja.
aschn wrote:
Tue 9. Feb 2021, 21:12
Dann wär das vielleicht auch mit Netdrive und dem netlabs.org-Plugin ein geeignetes Protokoll. EAs werden dort natürlich grundsätzlich nicht unterstützt. Wer braucht die aber auch bei Multimedia-Dateien oder solchen, die sowieso aus dem Netz kommen. Für Sicherungen von Partitionen bräuchte man die auch nicht. Oder hab ich jetzt etwas nicht beachtet?
Was würde das für Vorteile bringen? Nur wegen EAs?

User avatar
DonLucio
Posts: 594
Joined: Sun 29. Dec 2013, 01:14
Location: Hamburg

Post by DonLucio »

aschn wrote:
Tue 9. Feb 2021, 21:12
Hat der QNAP eigentlich WebDAV?
Ja, hat er. Habe ich jetzt mal aktiviert.

aschn wrote:Dann wär das vielleicht auch mit Netdrive und dem netlabs.org-Plugin ein geeignetes Protokoll.
Hab von Netlabs ein ndpdav.wpi gefunden, das jüngste ist Ver. 1_2_1-GA vom 14.2.2015. Wäre das ok?

Hab die WPI-Installation laufen lassen, auch die zugehörigen DLLs installiert.
Daraufhin landeten die Dateien ndpdav.dll, *.hlp und *.ndp im Verzeichnis c:\Programs\NDFS\ndplugs.

Da ich aber ein Original-Netdrive installiert habe (Ver. 3.14), habe ich diese Dateien in das ndplugs-Verzeichnis meiner Netdrive-Installation kopiert. Dann ndpm.exe gestartet. Mount zur Qnap angelegt. Aber als Ressource werden mir nur Samba und ftp angeboten. Kein Webdav.

Was mache ich falsch?

Danke,

Don Lucio.

User avatar
DonLucio
Posts: 594
Joined: Sun 29. Dec 2013, 01:14
Location: Hamburg

Post by DonLucio »

Danke für deine ausführlichen Antworten.
eCSBenutzer wrote:
Sat 13. Feb 2021, 09:49
Die Geräte kann man natürlich im Keller laufen lassen, den wann muss man mal ran? Der 451 läuft derzeit im Trempel...
Keller wäre schön. Jedoch: Da habe ich nur WLAN, kein LAN-Kabel. Und eine Ethernet-Kabelverbindung ist ja nun mal um Größenordnungen schneller als Funk. Deswegen steht die Kiste (TS251) bei mir auf dem Schreibtisch ...

BTW: Was ist ein Trempel ? :?

eCSBenutzer wrote:
aschn wrote:
Tue 9. Feb 2021, 21:12
Dann wär das vielleicht auch mit Netdrive und dem netlabs.org-Plugin ein geeignetes Protokoll.
Was würde das für Vorteile bringen? Nur wegen EAs?
Die EA's sind mir persönlich ziemlich schnuppe. Mir geht es um die Stabilität der Samba-Verbindung. Und die ist - das war ja der Grund für meinen Post - unzuverlässig. Auch jetzt noch, wo ich auf den alten FOC zurückgefallen bin (und damit etliche Verbindungsabbrüche nicht mehr passieren), bricht die Verbindung bisweilen ab. Leider vor allem regelmäßig bei PMView, das ich täglich benutze und für das ich leider keinen adäquaten Ersatz habe. Embellish ist es nicht (überqualifiziert) und FaxView auch nicht (unterqualif.).

Bin deshalb jetzt dabei, WebDav mit Netdrive zu versuchen ... bisher allerdings noch ohne Erfolg.

Gruß,
Don Lucio.