Kopieren großer Texte

(DE) System, Installation, Konfiguration, Hardware, Treiber, Netzwerk, Virtualisierung, etc.
(EN) System, Installation, Configuration, Hardware, Drivers, Network, Virtualisation, etc.
Antworten
andreas
Beiträge: 258
Registriert: Mo 30. Dez 2013, 19:55

Kopieren großer Texte

Beitrag von andreas »

Das Kopieren großer Textteile (plain text) über einen Editor braucht bei mir extrem lange (je nach Größe z.T. über 10 Minuten oder gar länger).
Kann man das durch irgendeine Einstellung beschleunigen?
Benutzeravatar
aschn
Beiträge: 1363
Registriert: Mi 25. Dez 2013, 22:47

Beitrag von aschn »

Hast Du vielleicht Details?
Andreas Schnellbacher
andreas
Beiträge: 258
Registriert: Mo 30. Dez 2013, 19:55

Beitrag von andreas »

Ich benutze den ME-Editor. Muss häufiger größere Texte in eine andere Text-Datei hineinkopieren. Wenn es nur ein paar Kilobyte sind ist das kein Problem und geht fix. Ab einer bestimmten Größe (kann nicht genau sagen ab welcher) dauert der Kopier-Vorgang recht lange. Wenn ich aber z.B. 5 MB Text kopieren möchte dauert das eine halbe Ewigkeit.
Benutzeravatar
Frank Wochatz
Beiträge: 1112
Registriert: So 22. Dez 2013, 22:04
Wohnort: Berlin
Kontaktdaten:

Beitrag von Frank Wochatz »

Das kann auch am Editor liegen, bzw. an der Darstellung auf dem Schirm im entsprechenden Element. Die Zwischenablage selbst sollte eigentlich sehr schnell funktionieren. Probier doch mal testweise einen anderen Editor. Ev. auch mal Formatierungen testweise ausschalten.

5MB Plain Text ist natürlich schon ganz ordentlich...
Benutzeravatar
aschn
Beiträge: 1363
Registriert: Mi 25. Dez 2013, 22:47

Beitrag von aschn »

Es ist gar nicht so einfach einen OS/2-Texteditor zu finden, der 1. so große Dateien laden kann und 2. dazu noch Zwischenablage > 64 KB unterstützt. 64 KB war die Grenze für 16 Bit.

MED kommt mit größerer Zwischenablage klar, ich glaub aber da war bei der Dateigröße bei einigen MB Schluss. Hab den Grenzwert vergessen. (EPM kann zwar Dateien bis etwa 60 MB laden, aber nur 64 KB Zwischenablage.) Neuere Editoren könnten da besser sein: FTE und alles, was von Linux portiert ist. Der uralte SlickEdit kann das selbstverständlich auch und beherrscht auch das Teil-Laden, so dass auch Riesendateien sofort angezeigt werden.

Bei EPM (ist ja immerhin on Board) gibt es eine Möglichkeit, wie man z.B. eine riesige POPUPLOG.OS2 mit EPM selbst verkleinert bekommt. Das erfordert aber Advanced Marking. (Vieles wurde auf 32 Bit gebracht, aber die Buffer-Funktionen, die intern auch für die Zwischenablage benutzt werden, haben sie leider vergessen. Liegt wohl auch daran, dass sie vorhatten aus dem Zeileneditor mit begrenzter Zeilenlänge einen echten Datenstromeditor zu machen.) Voraussetzung ist, dass man die Datei überhaupt noch geladen bekommt:

Alles markieren, neue .Unnamed-Datei laden und zu dieser wechseln, dann Kopien (Alt+C). Das fügt den markierten Text an die Cursorposition ein. Danch kann man auf die Originaldatei wechseln und dort alles bis auf die letzten Zielen, vieleicht markieren, dann Markierung löschen (Alt+D). Das kann man dann sichen (F2). Mit NEPMD und cuakeys ist die Tastenbelegung nicht so ungewohnt, also: Ctrl+A, Alt+C, Alt+D, Ctrl+S.
Zuletzt geändert von aschn am Di 11. Jan 2022, 18:28, insgesamt 1-mal geändert.
Andreas Schnellbacher
Benutzeravatar
Frank Wochatz
Beiträge: 1112
Registriert: So 22. Dez 2013, 22:04
Wohnort: Berlin
Kontaktdaten:

Beitrag von Frank Wochatz »

Jo, eine Limitierung des Clipboards hatte ich auch irgendwo im Hinterkopf. Wenn es aber bei 5MB funktioniert, und das oberhalb der maximalen Grenze liegt, dann hieße das ja, der MED benutzt eine eigene Zwischenablage.

Darf ich mal nachfragen, in welchen Anwendungsfall solche gigantischen Text-Dateien auftreten? Perry Rhodan einmal komplett? ;)
Benutzeravatar
aschn
Beiträge: 1363
Registriert: Mi 25. Dez 2013, 22:47

Beitrag von aschn »

Außer der POPUPLOG.OS2 gibt's bei mir keinen Anwendungsfall. Aber wer will so eine Riesenmenge lesen und wie wertvoll sind uralte Einträge?

Ich hab hin und wieder ein paar Tabellen, die ich als .csv-Dateien umwandle um sie mit EPM zu bearbeiten oder um darin zu suchen. Dabei nervt dann die 64-KB-Beschränkung. So etwa 300 KB für's Clipboard wär schon brauchbar, damit man nicht stückeln muss.
Andreas Schnellbacher
andreas
Beiträge: 258
Registriert: Mo 30. Dez 2013, 19:55

Beitrag von andreas »

Frank Wochatz hat geschrieben: Di 11. Jan 2022, 18:28 Jo, eine Limitierung des Clipboards hatte ich auch irgendwo im Hinterkopf. Wenn es aber bei 5MB funktioniert, und das oberhalb der maximalen Grenze liegt, dann hieße das ja, der MED benutzt eine eigene Zwischenablage.

Darf ich mal nachfragen, in welchen Anwendungsfall solche gigantischen Text-Dateien auftreten? Perry Rhodan einmal komplett? ;)
Ich hatte früher das Problem, dass der E-Editor bei etwas größeren Dateien, diese einfach abschneidet. Deshalb verwende ich ihn nicht mehr. Denke, das hat mit der von dir angesprochenen Limitierung des Clipboards zu tun.
Mein Anwendungsfall? Nun, ich habe eine große juristische Datenbank (einige GB). Da muss ich manchmal große Passagen umkopieren...


Ihr meint also, es liegt am Editor.. Werde bei Gelegenheit mal andere Editoren ausprobieren. Allerdings finde ich den ME-Editor sehr gut, vor allem weil man bequem zwischen Win-Formatierung und OS/2-Formatierung umschalten kann. So habe ich das bislang bei keinem anderen Editor gesehen. Die Möglichkeit der Umwandlung der Formatierung ist z.T. auch gerade der Grund, weshalb ich die Texte kopiere...
Benutzeravatar
aschn
Beiträge: 1363
Registriert: Mi 25. Dez 2013, 22:47

Beitrag von aschn »

E benutzt das MLE-Kontrollelement des PMs. Das ist einfach nicht für größere Texte geeignet bzw. bekommt sie gar nicht geöffnet. Die Zwischenablage ist auf 64 KB begrenzt. Auch der Nachbau von Aaron nutzt das MLE.

Wenn es nur um die Umwandlung der Kodierung geht, da gibt's inzwischen schon einige Texteditoren. Ich spar mir diesmal die Werbung. Auch ein Skript, das uconv.exe (yum install icu) aufruft, ist denkbar. Du könntest Dir sonst auch mal den Qt-Editor von Alex (Screenshots, Releases) ansehen.

Die wahrscheinlich beste Möglichkeit ist aber natürlich Dich an Martin (wgen ME) zu wenden.
Andreas Schnellbacher
Benutzeravatar
Frank Wochatz
Beiträge: 1112
Registriert: So 22. Dez 2013, 22:04
Wohnort: Berlin
Kontaktdaten:

Beitrag von Frank Wochatz »

Genau, frag mal Autor Martin.

Ansonsten würde ich mir überlegen, ob man die Datenbank nicht irgendwie anders strukturieren könnte, so dass man immer nur mit kleineren Teilmengen arbeitet. ZB. aufgteteilt in mehrere Dateien. Ansonsten werden für solche riesigen Datenmengen ja schon eher ausgewachsene Datenbankprogramme verwendet, da brauchste ja normalerweise auch Suchmechaniken und Inhaltsverzeichnisse etc...
andreas
Beiträge: 258
Registriert: Mo 30. Dez 2013, 19:55

Beitrag von andreas »

Ja, werde ihn dann wohl mal anmailen...

Mich wundert allerdings, dass es bislang zwar viele Editoren gibt, aber (wohl) keine, die mit großen Datenmengen klarkommen. Es scheint wohl nicht ganz so einfach zu sein, so etwas zu programmieren. Aber wenn Linux-Programme das können, wundert es mich schon, warum das so ist. Der ME-Editor kommt zumindest grundsätzlich mit großen Dateien klar (bis auf den Zeitfaktor).

Die bloße Umwandlung in OS/2-Format bringt mich i.Ü. leider nicht wirklich weiter. Ich muss die Dateien ja in eine andere hineinkopieren..

Für meine Zwecke ist eine Aufteilung in kleiner Dateien nicht wirklich sinnvoll. Das würde alles unübersichtlich machen. Auch ein Datenbankprogramm ist für meine Zwecke nicht dienlich. Am Besten komme ich schon mit reinen Textdateien klar. Diese sind schon gut sortiert, so dass das Auffinden von Informationen nicht das Problem ist. Und zum einfachen Ändern der einzelnen Dateien eignen sich Textdateien auch am Besten. I.Ü. habe ich auch keine Lust ca. 20.000 Dateien in ein neues Programm einzupflegen ;-)
Benutzeravatar
Frank Wochatz
Beiträge: 1112
Registriert: So 22. Dez 2013, 22:04
Wohnort: Berlin
Kontaktdaten:

Beitrag von Frank Wochatz »

andreas hat geschrieben: Mi 12. Jan 2022, 18:37

Mich wundert allerdings, dass es bislang zwar viele Editoren gibt, aber (wohl) keine, die mit großen Datenmengen klarkommen.
Plain Text ist ja ein recht "primitives" Format (nicht abwertend gemeint). Und groß ist halt relativ. 5 MB Text ist halt schon eher gigantisch. 1 Gigabyte Plain Text sind ca. 500 Romane durchschnittlicher Länge. Ich glaube es ist eher unüblich, so etwas in einem "Klumpen" zu verarbeiten, da wird halt strukturiert. Womöglich auch gerade wg. der Geschwindigkeit. Es ist natürlich nachvollziehbar, dass man das im Nachgang nicht umbauen möchte oder kann.

Der Anwendungsfall ist wahrscheinlich auch eher selten. dass die Programme daraufhin nicht überprüft wurden/werden. Und die Anzeige mit dem MLE, das ist halt auch ein Element aus den 90ern. Da hatte man ab 4 MB RAM, und das hat auch so schon geknirscht.
Martin Vieregg
Beiträge: 459
Registriert: Di 19. Aug 2014, 09:30

Beitrag von Martin Vieregg »

Ich bin DER Martin. Aarons Editor und der original OS/2 Systemeditor benutzen das OS/2 Memofeld. Das ist stark limitiert, das läßt sich als Programmierer auch nicht umgehen. Der ME Editor ist von Grund auf eigenständig programmiert und sollte eigentlich innerhalb weniger Sekunden bis zu 20 MB problemlos verarbeiten können. Ich habe das getestet und festgestellt, dass zwischen einer Version von 2010 und einer von 2012 das Herausholen aus der Zwischenablage tatsächlich massiv langsamer geworden ist. Soweit ich das überblicke, ist das Laden und Speichern weiterhin schnell, das wäre mir sonst längst aufgefallen. Ich werde mir das in den nächsten Wochen einmal näher ansehen. Ich habe sogar Hänger des ganzen Computers. Ich stufe das als Bug ein. Danke für den Hinweis. Ich habe die letzten Jahre seit 2016 immer wieder kleine Dinge an ME verbessert und bislang noch nicht offiziell ein Update veröffentlicht. In Textbuch ist jeweils die aktuelle Version enthalten. Aber alle meine Editoren, auch der WSedit, verhalten sich so.
Martin Vieregg
Beiträge: 459
Registriert: Di 19. Aug 2014, 09:30

Beitrag von Martin Vieregg »

Das Problem hat mich nicht losgelassen und ich bin doch gleich der Sache auf die Spur gekommen. Ich habe hier eine aktuelle Version des ME (nur EXE, keine Dokus usw.) als reines Update hochgeladen:

http://www.hypermake.de/archive/meos2-100beta22.zip

Das Problem war eine lächerlich simple Routine, die nur die Aufgabe hat, das erste Vorkommen eines #0 Bytes (Dateiende) im aus der Zwischenablage ausgelesenen Speicherblock zu suchen. Es ist eine simple While-Schleife mit einem wandernden Pointer. Hier scheint der Sibyl Compiler Mist zu machen. Deshalb war vor 2011 der Code in Assembler geschrieben, danach habe ich wegen der Portierung auf andere Plattformen den Assemblercode aufgegeben. Jetzt habe ich für OS/2 den Assemblercode wieder reaktiviert, der nur auskommentiert war.

Beim nächsten Textbuch Update ist der Fehler dann auch dort behoben. WSedit ist auch betroffen. Ich werde demnächst einmal ME und WSedit offiziell aktualisieren.
Benutzeravatar
aschn
Beiträge: 1363
Registriert: Mi 25. Dez 2013, 22:47

Beitrag von aschn »

andreas hat geschrieben: Mi 12. Jan 2022, 18:37 Mich wundert allerdings, dass es bislang zwar viele Editoren gibt, aber (wohl) keine, die mit großen Datenmengen klarkommen.
Hab ich doch geschrieben: Uralt. Damals war teilweise 16 bit noch aktuell und wer hat schon mehrere MB große Dateien gehabt?

Was heißt "keine [Editoren]" und "große Datenmengen"? Das Optimum ist SlickEdit, der unbegrenzt große Dateien öffnen kann. Dabei wird immer nur ein Teil geladen und angezeigt. So öffnen diese so schnell wie kleinere. In der Zwischenablage gibt's auch nur die 32-bit-Begrenzung (4 GB).
andreas hat geschrieben: Mi 12. Jan 2022, 18:37 Es scheint wohl nicht ganz so einfach zu sein, so etwas zu programmieren.
Das ist genauso schwierig wie mit Beschränkungen aus der 16-bit-Zeit zu programmieren.
andreas hat geschrieben: Mi 12. Jan 2022, 18:37 Aber wenn Linux-Programme das können, wundert es mich schon, warum das so ist.
Der einzige Grund ist, dass sie neuer sind. SlickEdit ist zwar auch uralt, wurde aber schon damals mit einzigartigen Merkmalen versehen und war deshalb fast unbezahlbar.
Andreas Schnellbacher
andreas
Beiträge: 258
Registriert: Mo 30. Dez 2013, 19:55

Beitrag von andreas »

Martin Vieregg hat geschrieben: Mi 12. Jan 2022, 21:35 Das Problem hat mich nicht losgelassen und ich bin doch gleich der Sache auf die Spur gekommen. Ich habe hier eine aktuelle Version des ME (nur EXE, keine Dokus usw.) als reines Update hochgeladen:

http://www.hypermake.de/archive/meos2-100beta22.zip
Danke für die prompte Resonanz! Echt toll von dir. Werde dein update gerne testen.
Freut mich, dass du noch an dem Editor arbeitest. Ich benutze ihn sehr oft.

Edit:
kurz angetestet mit einer 1,2 MB-Datei. Ging total fix. Super.
Zuletzt geändert von andreas am Do 13. Jan 2022, 14:08, insgesamt 2-mal geändert.
Martin Vieregg
Beiträge: 459
Registriert: Di 19. Aug 2014, 09:30

Beitrag von Martin Vieregg »

Schön dass der Editor auch für euch so nützlich ist. Neu ist übrigens der Menüpunkt Datei - Weiteres Fenster (für dieselbe Datei).
andreas
Beiträge: 258
Registriert: Mo 30. Dez 2013, 19:55

Beitrag von andreas »

Martin Vieregg hat geschrieben: Do 13. Jan 2022, 10:50 Schön dass der Editor auch für euch so nützlich ist.
Ja, ist er wirklich.

In der neuen Version habe ich übrigens einen kleinen Bug entdeckt: Bei Copy and Paste innerhalb der gleichen Datei im Win-Format (WIN/UTF8) wird das falsche Format eingefügt (aus dem "§"-Zeichen wird in O mit Kringel, "ü" verschwindet).
Große Texte werden (erheblich) schneller kopiert. Allerdings scheint ein Paste von kurzen Passagen im Gegensatz zur früheren Programmversion etwas länger zu dauern (ist aber nicht dramatisch).
Benutzeravatar
Frank Wochatz
Beiträge: 1112
Registriert: So 22. Dez 2013, 22:04
Wohnort: Berlin
Kontaktdaten:

Beitrag von Frank Wochatz »

@Martin, ich habe das executable mal runter geladen und gestartet. Die Systemlast steigt auf 100%. ME schreibt eine Datei "edifonts.ini", die immer größer wird, bis meine Festplatte voll ist. Die Datei enthält immer die gleiche Zeile "System VIO 12*5". Nach einem Reboot kann man ME starten.

Das Verhalten ist nicht ganz ungefährlich, da in dem Zustand nichts mehr auf die Festplatte geschrieben / gesichert werden kann. Mir ist es auch nicht gelungen, den Prozess abzuschiessen, da das System nicht mehr zu bedienen war.
andreas
Beiträge: 258
Registriert: Mo 30. Dez 2013, 19:55

Beitrag von andreas »

Frank Wochatz hat geschrieben: Do 13. Jan 2022, 15:01 @Martin, ich habe das executable mal runter geladen und gestartet. Die Systemlast steigt auf 100%. ME schreibt eine Datei "edifonts.ini", die immer größer wird, bis meine Festplatte voll ist. Die Datei enthält immer die gleiche Zeile "System VIO 12*5". Nach einem Reboot kann man ME starten.

Das Verhalten ist nicht ganz ungefährlich, da in dem Zustand nichts mehr auf die Festplatte geschrieben / gesichert werden kann. Mir ist es auch nicht gelungen, den Prozess abzuschiessen, da das System nicht mehr zu bedienen war.
Ich habe diesen Effekt nicht.
Benutzeravatar
Frank Wochatz
Beiträge: 1112
Registriert: So 22. Dez 2013, 22:04
Wohnort: Berlin
Kontaktdaten:

Beitrag von Frank Wochatz »

Inzwischen habe ich das alte Paket nochmal vollständig installiert, damit geht es. Denoch sollte m.M.n. das Programm beim Fehlen einer Konfigurationsdatei möglichst nicht so reagieren, daher der Hinweis.

Ansonsten finde ich den Editor gut.
Martin Vieregg
Beiträge: 459
Registriert: Di 19. Aug 2014, 09:30

Beitrag von Martin Vieregg »

Ich konnte das Fehlverhalten nachvollziehen. Bei mir hat er eine edifonts.ini Datei mit 1,8 GB Dateigröße erzeugt. Hmm, vielleicht eine falsche Zählervariable mit Überlauf. Ich schau mir das am WE mal genauer an. Eigentlich sollte in der Textdatei edifonts.ini ungefähr dieser Inhalt sein:

Code: Alles auswählen

System VIO 12*5
System VIO 16*5
System VIO 10*6
System VIO 14*6
System VIO 15*7
System VIO 25*7
System VIO 8*8
System VIO 10*8
System VIO 12*8
System VIO 14*8
System VIO 16*8
System VIO 18*8
System VIO 18*10
System VIO 16*12
System VIO 20*12
System VIO 22*12
System VIO 30*12
Courier 13*8
Courier 16*9
Courier 20*12
Courier 16*9
Courier 20*12
Courier 25*15
System Monospaced 20*9
System Monospaced 16*8
Bei Textbuch ist aktuell auch ein Fehlverhalten mit edifonts.ini. Hier legt er immer wieder die Datei neu an, obwohl sie eigentlich da ist.
Benutzeravatar
Frank Wochatz
Beiträge: 1112
Registriert: So 22. Dez 2013, 22:04
Wohnort: Berlin
Kontaktdaten:

Beitrag von Frank Wochatz »

Hi Martin,
mit der richtigen edifonts.ini aus der Basisinstallation funktioniert es einwandfrei. Bei mir war weniger als 1.8GB frei, daher war dann vorher die Platte voll.

Mir ist noch aufgefallen, dass man das freie Positionieren des Cursors außerhalb des Textbereiches nicht abschalten kann. D.h. die Option ist da, aber ohne Wirkung. Basisinstallation+das Executable hier aus dem Thread wurden verwendet.

Ev. verschieben wir den Thread hier mal nach "Projekte".
Antworten