Kopieren großer Texte

(DE) System, Installation, Konfiguration, Hardware, Treiber, Netzwerk, Virtualisierung, etc.
(EN) System, Installation, Configuration, Hardware, Drivers, Network, Virtualisation, etc.
andreas
Posts: 223
Joined: Mon 30. Dec 2013, 19:55

Kopieren großer Texte

Post by andreas »

Das Kopieren großer Textteile (plain text) über einen Editor braucht bei mir extrem lange (je nach Größe z.T. über 10 Minuten oder gar länger).
Kann man das durch irgendeine Einstellung beschleunigen?

aschn
Posts: 1311
Joined: Wed 25. Dec 2013, 22:47

Post by aschn »

Hast Du vielleicht Details?
Andreas Schnellbacher

andreas
Posts: 223
Joined: Mon 30. Dec 2013, 19:55

Post by andreas »

Ich benutze den ME-Editor. Muss häufiger größere Texte in eine andere Text-Datei hineinkopieren. Wenn es nur ein paar Kilobyte sind ist das kein Problem und geht fix. Ab einer bestimmten Größe (kann nicht genau sagen ab welcher) dauert der Kopier-Vorgang recht lange. Wenn ich aber z.B. 5 MB Text kopieren möchte dauert das eine halbe Ewigkeit.

User avatar
Frank Wochatz
Posts: 1047
Joined: Sun 22. Dec 2013, 22:04
Location: Berlin

Post by Frank Wochatz »

Das kann auch am Editor liegen, bzw. an der Darstellung auf dem Schirm im entsprechenden Element. Die Zwischenablage selbst sollte eigentlich sehr schnell funktionieren. Probier doch mal testweise einen anderen Editor. Ev. auch mal Formatierungen testweise ausschalten.

5MB Plain Text ist natürlich schon ganz ordentlich...

aschn
Posts: 1311
Joined: Wed 25. Dec 2013, 22:47

Post by aschn »

Es ist gar nicht so einfach einen OS/2-Texteditor zu finden, der 1. so große Dateien laden kann und 2. dazu noch Zwischenablage > 64 KB unterstützt. 64 KB war die Grenze für 16 Bit.

MED kommt mit größerer Zwischenablage klar, ich glaub aber da war bei der Dateigröße bei einigen MB Schluss. Hab den Grenzwert vergessen. (EPM kann zwar Dateien bis etwa 60 MB laden, aber nur 64 KB Zwischenablage.) Neuere Editoren könnten da besser sein: FTE und alles, was von Linux portiert ist. Der uralte SlickEdit kann das selbstverständlich auch und beherrscht auch das Teil-Laden, so dass auch Riesendateien sofort angezeigt werden.

Bei EPM (ist ja immerhin on Board) gibt es eine Möglichkeit, wie man z.B. eine riesige POPUPLOG.OS2 mit EPM selbst verkleinert bekommt. Das erfordert aber Advanced Marking. (Vieles wurde auf 32 Bit gebracht, aber die Buffer-Funktionen, die intern auch für die Zwischenablage benutzt werden, haben sie leider vergessen. Liegt wohl auch daran, dass sie vorhatten aus dem Zeileneditor mit begrenzter Zeilenlänge einen echten Datenstromeditor zu machen.) Voraussetzung ist, dass man die Datei überhaupt noch geladen bekommt:

Alles markieren, neue .Unnamed-Datei laden und zu dieser wechseln, dann Kopien (Alt+C). Das fügt den markierten Text an die Cursorposition ein. Danch kann man auf die Originaldatei wechseln und dort alles bis auf die letzten Zielen, vieleicht markieren, dann Markierung löschen (Alt+D). Das kann man dann sichen (F2). Mit NEPMD und cuakeys ist die Tastenbelegung nicht so ungewohnt, also: Ctrl+A, Alt+C, Alt+D, Ctrl+S.
Last edited by aschn on Tue 11. Jan 2022, 18:28, edited 1 time in total.
Andreas Schnellbacher

User avatar
Frank Wochatz
Posts: 1047
Joined: Sun 22. Dec 2013, 22:04
Location: Berlin

Post by Frank Wochatz »

Jo, eine Limitierung des Clipboards hatte ich auch irgendwo im Hinterkopf. Wenn es aber bei 5MB funktioniert, und das oberhalb der maximalen Grenze liegt, dann hieße das ja, der MED benutzt eine eigene Zwischenablage.

Darf ich mal nachfragen, in welchen Anwendungsfall solche gigantischen Text-Dateien auftreten? Perry Rhodan einmal komplett? ;)

aschn
Posts: 1311
Joined: Wed 25. Dec 2013, 22:47

Post by aschn »

Außer der POPUPLOG.OS2 gibt's bei mir keinen Anwendungsfall. Aber wer will so eine Riesenmenge lesen und wie wertvoll sind uralte Einträge?

Ich hab hin und wieder ein paar Tabellen, die ich als .csv-Dateien umwandle um sie mit EPM zu bearbeiten oder um darin zu suchen. Dabei nervt dann die 64-KB-Beschränkung. So etwa 300 KB für's Clipboard wär schon brauchbar, damit man nicht stückeln muss.
Andreas Schnellbacher

andreas
Posts: 223
Joined: Mon 30. Dec 2013, 19:55

Post by andreas »

Frank Wochatz wrote:
Tue 11. Jan 2022, 18:28
Jo, eine Limitierung des Clipboards hatte ich auch irgendwo im Hinterkopf. Wenn es aber bei 5MB funktioniert, und das oberhalb der maximalen Grenze liegt, dann hieße das ja, der MED benutzt eine eigene Zwischenablage.

Darf ich mal nachfragen, in welchen Anwendungsfall solche gigantischen Text-Dateien auftreten? Perry Rhodan einmal komplett? ;)
Ich hatte früher das Problem, dass der E-Editor bei etwas größeren Dateien, diese einfach abschneidet. Deshalb verwende ich ihn nicht mehr. Denke, das hat mit der von dir angesprochenen Limitierung des Clipboards zu tun.
Mein Anwendungsfall? Nun, ich habe eine große juristische Datenbank (einige GB). Da muss ich manchmal große Passagen umkopieren...


Ihr meint also, es liegt am Editor.. Werde bei Gelegenheit mal andere Editoren ausprobieren. Allerdings finde ich den ME-Editor sehr gut, vor allem weil man bequem zwischen Win-Formatierung und OS/2-Formatierung umschalten kann. So habe ich das bislang bei keinem anderen Editor gesehen. Die Möglichkeit der Umwandlung der Formatierung ist z.T. auch gerade der Grund, weshalb ich die Texte kopiere...

aschn
Posts: 1311
Joined: Wed 25. Dec 2013, 22:47

Post by aschn »

E benutzt das MLE-Kontrollelement des PMs. Das ist einfach nicht für größere Texte geeignet bzw. bekommt sie gar nicht geöffnet. Die Zwischenablage ist auf 64 KB begrenzt. Auch der Nachbau von Aaron nutzt das MLE.

Wenn es nur um die Umwandlung der Kodierung geht, da gibt's inzwischen schon einige Texteditoren. Ich spar mir diesmal die Werbung. Auch ein Skript, das uconv.exe (yum install icu) aufruft, ist denkbar. Du könntest Dir sonst auch mal den Qt-Editor von Alex (Screenshots, Releases) ansehen.

Die wahrscheinlich beste Möglichkeit ist aber natürlich Dich an Martin (wgen ME) zu wenden.
Andreas Schnellbacher

User avatar
Frank Wochatz
Posts: 1047
Joined: Sun 22. Dec 2013, 22:04
Location: Berlin

Post by Frank Wochatz »

Genau, frag mal Autor Martin.

Ansonsten würde ich mir überlegen, ob man die Datenbank nicht irgendwie anders strukturieren könnte, so dass man immer nur mit kleineren Teilmengen arbeitet. ZB. aufgteteilt in mehrere Dateien. Ansonsten werden für solche riesigen Datenmengen ja schon eher ausgewachsene Datenbankprogramme verwendet, da brauchste ja normalerweise auch Suchmechaniken und Inhaltsverzeichnisse etc...

andreas
Posts: 223
Joined: Mon 30. Dec 2013, 19:55

Post by andreas »

Ja, werde ihn dann wohl mal anmailen...

Mich wundert allerdings, dass es bislang zwar viele Editoren gibt, aber (wohl) keine, die mit großen Datenmengen klarkommen. Es scheint wohl nicht ganz so einfach zu sein, so etwas zu programmieren. Aber wenn Linux-Programme das können, wundert es mich schon, warum das so ist. Der ME-Editor kommt zumindest grundsätzlich mit großen Dateien klar (bis auf den Zeitfaktor).

Die bloße Umwandlung in OS/2-Format bringt mich i.Ü. leider nicht wirklich weiter. Ich muss die Dateien ja in eine andere hineinkopieren..

Für meine Zwecke ist eine Aufteilung in kleiner Dateien nicht wirklich sinnvoll. Das würde alles unübersichtlich machen. Auch ein Datenbankprogramm ist für meine Zwecke nicht dienlich. Am Besten komme ich schon mit reinen Textdateien klar. Diese sind schon gut sortiert, so dass das Auffinden von Informationen nicht das Problem ist. Und zum einfachen Ändern der einzelnen Dateien eignen sich Textdateien auch am Besten. I.Ü. habe ich auch keine Lust ca. 20.000 Dateien in ein neues Programm einzupflegen ;-)

User avatar
Frank Wochatz
Posts: 1047
Joined: Sun 22. Dec 2013, 22:04
Location: Berlin

Post by Frank Wochatz »

andreas wrote:
Wed 12. Jan 2022, 18:37


Mich wundert allerdings, dass es bislang zwar viele Editoren gibt, aber (wohl) keine, die mit großen Datenmengen klarkommen.
Plain Text ist ja ein recht "primitives" Format (nicht abwertend gemeint). Und groß ist halt relativ. 5 MB Text ist halt schon eher gigantisch. 1 Gigabyte Plain Text sind ca. 500 Romane durchschnittlicher Länge. Ich glaube es ist eher unüblich, so etwas in einem "Klumpen" zu verarbeiten, da wird halt strukturiert. Womöglich auch gerade wg. der Geschwindigkeit. Es ist natürlich nachvollziehbar, dass man das im Nachgang nicht umbauen möchte oder kann.

Der Anwendungsfall ist wahrscheinlich auch eher selten. dass die Programme daraufhin nicht überprüft wurden/werden. Und die Anzeige mit dem MLE, das ist halt auch ein Element aus den 90ern. Da hatte man ab 4 MB RAM, und das hat auch so schon geknirscht.

Martin Vieregg
Posts: 409
Joined: Tue 19. Aug 2014, 09:30

Post by Martin Vieregg »

Ich bin DER Martin. Aarons Editor und der original OS/2 Systemeditor benutzen das OS/2 Memofeld. Das ist stark limitiert, das läßt sich als Programmierer auch nicht umgehen. Der ME Editor ist von Grund auf eigenständig programmiert und sollte eigentlich innerhalb weniger Sekunden bis zu 20 MB problemlos verarbeiten können. Ich habe das getestet und festgestellt, dass zwischen einer Version von 2010 und einer von 2012 das Herausholen aus der Zwischenablage tatsächlich massiv langsamer geworden ist. Soweit ich das überblicke, ist das Laden und Speichern weiterhin schnell, das wäre mir sonst längst aufgefallen. Ich werde mir das in den nächsten Wochen einmal näher ansehen. Ich habe sogar Hänger des ganzen Computers. Ich stufe das als Bug ein. Danke für den Hinweis. Ich habe die letzten Jahre seit 2016 immer wieder kleine Dinge an ME verbessert und bislang noch nicht offiziell ein Update veröffentlicht. In Textbuch ist jeweils die aktuelle Version enthalten. Aber alle meine Editoren, auch der WSedit, verhalten sich so.

Martin Vieregg
Posts: 409
Joined: Tue 19. Aug 2014, 09:30

Post by Martin Vieregg »

Das Problem hat mich nicht losgelassen und ich bin doch gleich der Sache auf die Spur gekommen. Ich habe hier eine aktuelle Version des ME (nur EXE, keine Dokus usw.) als reines Update hochgeladen:

http://www.hypermake.de/archive/meos2-100beta22.zip

Das Problem war eine lächerlich simple Routine, die nur die Aufgabe hat, das erste Vorkommen eines #0 Bytes (Dateiende) im aus der Zwischenablage ausgelesenen Speicherblock zu suchen. Es ist eine simple While-Schleife mit einem wandernden Pointer. Hier scheint der Sibyl Compiler Mist zu machen. Deshalb war vor 2011 der Code in Assembler geschrieben, danach habe ich wegen der Portierung auf andere Plattformen den Assemblercode aufgegeben. Jetzt habe ich für OS/2 den Assemblercode wieder reaktiviert, der nur auskommentiert war.

Beim nächsten Textbuch Update ist der Fehler dann auch dort behoben. WSedit ist auch betroffen. Ich werde demnächst einmal ME und WSedit offiziell aktualisieren.

aschn
Posts: 1311
Joined: Wed 25. Dec 2013, 22:47

Post by aschn »

andreas wrote:
Wed 12. Jan 2022, 18:37
Mich wundert allerdings, dass es bislang zwar viele Editoren gibt, aber (wohl) keine, die mit großen Datenmengen klarkommen.
Hab ich doch geschrieben: Uralt. Damals war teilweise 16 bit noch aktuell und wer hat schon mehrere MB große Dateien gehabt?

Was heißt "keine [Editoren]" und "große Datenmengen"? Das Optimum ist SlickEdit, der unbegrenzt große Dateien öffnen kann. Dabei wird immer nur ein Teil geladen und angezeigt. So öffnen diese so schnell wie kleinere. In der Zwischenablage gibt's auch nur die 32-bit-Begrenzung (4 GB).
andreas wrote:
Wed 12. Jan 2022, 18:37
Es scheint wohl nicht ganz so einfach zu sein, so etwas zu programmieren.
Das ist genauso schwierig wie mit Beschränkungen aus der 16-bit-Zeit zu programmieren.
andreas wrote:
Wed 12. Jan 2022, 18:37
Aber wenn Linux-Programme das können, wundert es mich schon, warum das so ist.
Der einzige Grund ist, dass sie neuer sind. SlickEdit ist zwar auch uralt, wurde aber schon damals mit einzigartigen Merkmalen versehen und war deshalb fast unbezahlbar.
Andreas Schnellbacher

andreas
Posts: 223
Joined: Mon 30. Dec 2013, 19:55

Post by andreas »

Martin Vieregg wrote:
Wed 12. Jan 2022, 21:35
Das Problem hat mich nicht losgelassen und ich bin doch gleich der Sache auf die Spur gekommen. Ich habe hier eine aktuelle Version des ME (nur EXE, keine Dokus usw.) als reines Update hochgeladen:

http://www.hypermake.de/archive/meos2-100beta22.zip
Danke für die prompte Resonanz! Echt toll von dir. Werde dein update gerne testen.
Freut mich, dass du noch an dem Editor arbeitest. Ich benutze ihn sehr oft.

Edit:
kurz angetestet mit einer 1,2 MB-Datei. Ging total fix. Super.
Last edited by andreas on Thu 13. Jan 2022, 14:08, edited 2 times in total.

Martin Vieregg
Posts: 409
Joined: Tue 19. Aug 2014, 09:30

Post by Martin Vieregg »

Schön dass der Editor auch für euch so nützlich ist. Neu ist übrigens der Menüpunkt Datei - Weiteres Fenster (für dieselbe Datei).

andreas
Posts: 223
Joined: Mon 30. Dec 2013, 19:55

Post by andreas »

Martin Vieregg wrote:
Thu 13. Jan 2022, 10:50
Schön dass der Editor auch für euch so nützlich ist.
Ja, ist er wirklich.

In der neuen Version habe ich übrigens einen kleinen Bug entdeckt: Bei Copy and Paste innerhalb der gleichen Datei im Win-Format (WIN/UTF8) wird das falsche Format eingefügt (aus dem "§"-Zeichen wird in O mit Kringel, "ü" verschwindet).
Große Texte werden (erheblich) schneller kopiert. Allerdings scheint ein Paste von kurzen Passagen im Gegensatz zur früheren Programmversion etwas länger zu dauern (ist aber nicht dramatisch).

User avatar
Frank Wochatz
Posts: 1047
Joined: Sun 22. Dec 2013, 22:04
Location: Berlin

Post by Frank Wochatz »

@Martin, ich habe das executable mal runter geladen und gestartet. Die Systemlast steigt auf 100%. ME schreibt eine Datei "edifonts.ini", die immer größer wird, bis meine Festplatte voll ist. Die Datei enthält immer die gleiche Zeile "System VIO 12*5". Nach einem Reboot kann man ME starten.

Das Verhalten ist nicht ganz ungefährlich, da in dem Zustand nichts mehr auf die Festplatte geschrieben / gesichert werden kann. Mir ist es auch nicht gelungen, den Prozess abzuschiessen, da das System nicht mehr zu bedienen war.

andreas
Posts: 223
Joined: Mon 30. Dec 2013, 19:55

Post by andreas »

Frank Wochatz wrote:
Thu 13. Jan 2022, 15:01
@Martin, ich habe das executable mal runter geladen und gestartet. Die Systemlast steigt auf 100%. ME schreibt eine Datei "edifonts.ini", die immer größer wird, bis meine Festplatte voll ist. Die Datei enthält immer die gleiche Zeile "System VIO 12*5". Nach einem Reboot kann man ME starten.

Das Verhalten ist nicht ganz ungefährlich, da in dem Zustand nichts mehr auf die Festplatte geschrieben / gesichert werden kann. Mir ist es auch nicht gelungen, den Prozess abzuschiessen, da das System nicht mehr zu bedienen war.
Ich habe diesen Effekt nicht.

User avatar
Frank Wochatz
Posts: 1047
Joined: Sun 22. Dec 2013, 22:04
Location: Berlin

Post by Frank Wochatz »

Inzwischen habe ich das alte Paket nochmal vollständig installiert, damit geht es. Denoch sollte m.M.n. das Programm beim Fehlen einer Konfigurationsdatei möglichst nicht so reagieren, daher der Hinweis.

Ansonsten finde ich den Editor gut.

Martin Vieregg
Posts: 409
Joined: Tue 19. Aug 2014, 09:30

Post by Martin Vieregg »

Ich konnte das Fehlverhalten nachvollziehen. Bei mir hat er eine edifonts.ini Datei mit 1,8 GB Dateigröße erzeugt. Hmm, vielleicht eine falsche Zählervariable mit Überlauf. Ich schau mir das am WE mal genauer an. Eigentlich sollte in der Textdatei edifonts.ini ungefähr dieser Inhalt sein:

Code: Select all

System VIO 12*5
System VIO 16*5
System VIO 10*6
System VIO 14*6
System VIO 15*7
System VIO 25*7
System VIO 8*8
System VIO 10*8
System VIO 12*8
System VIO 14*8
System VIO 16*8
System VIO 18*8
System VIO 18*10
System VIO 16*12
System VIO 20*12
System VIO 22*12
System VIO 30*12
Courier 13*8
Courier 16*9
Courier 20*12
Courier 16*9
Courier 20*12
Courier 25*15
System Monospaced 20*9
System Monospaced 16*8
Bei Textbuch ist aktuell auch ein Fehlverhalten mit edifonts.ini. Hier legt er immer wieder die Datei neu an, obwohl sie eigentlich da ist.

User avatar
Frank Wochatz
Posts: 1047
Joined: Sun 22. Dec 2013, 22:04
Location: Berlin

Post by Frank Wochatz »

Hi Martin,
mit der richtigen edifonts.ini aus der Basisinstallation funktioniert es einwandfrei. Bei mir war weniger als 1.8GB frei, daher war dann vorher die Platte voll.

Mir ist noch aufgefallen, dass man das freie Positionieren des Cursors außerhalb des Textbereiches nicht abschalten kann. D.h. die Option ist da, aber ohne Wirkung. Basisinstallation+das Executable hier aus dem Thread wurden verwendet.

Ev. verschieben wir den Thread hier mal nach "Projekte".