Text nach einem Punkt (.) "splitten"

Conrat

Hallo Community.

Ich versuche eine Textdatei aufteilen. Sie ist zwar kurz, aber ich benötige den Inhalt als einzelne Dateien, die jeweils nur einen einzigen Satz enthalten.

Beispielsweise enthält die Ursprungsdatei den Text:

"Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet."

Der Inhalt der Ausgabedateien sollte nach dem Bearbeiten so aussehen:

Datei 1:
"Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua."

Datei 2:
"At vero eos et accusam et justo duo dolores et ea rebum."

Datei 3:
"Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet."

Ich bin bisher mit split oder auch awk nicht weiter, aber an die Grenzen meines Wissens gekommen.

Vielleicht kennt hier jemand eine Lösung?

Danke

Manny_K

Du könntest den Text in eine Tabellenkalkulation importieren und den Punkt als Trenner nehmen. Dann würde jeder Satz in einer eigenen Spalte stehen.

Conrat

Das würd vermutlich funktionieren, aber da dies automatisch bei wechselndem Text in der Ursprungsdatei ablaufen soll, ist dies leider keine praktikable Möglichkeit.

kim88

Also ich habe nun ein kleines Bashscript geschrieben das im Grunde genau das macht was du möchtest. Dateiname "splitter.sh" Inhalt der Datei:

Bash: splitter.sh

#!/bin/bash

# Überprüfe, ob ein Dateiname als Argument übergeben wurde
if [ "$#" -ne 1 ]; then
    echo "Bitte geben Sie den Dateinamen als Argument an."
    exit 1
fi

# Überprüfe, ob die übergebene Datei existiert
if [ ! -f "$1" ]; then
    echo "Die angegebene Datei existiert nicht."
    exit 1
fi

# Zähler für die Dateinamen
count=1

# Schleife zum Lesen jeder Zeile der Textdatei
while IFS='' read -r line || [[ -n "$line" ]]; do
    # Überprüfe, ob die Zeile nicht leer ist
    if [ -n "$line" ]; then
        # Schreibe jede nicht-leere Zeile in eine separate Datei
        echo "$line" > "datei$count.txt"
        ((count++))
    fi
done < "$1"

Alles anzeigen

Danach die Datei ausführbar machen:

Code

chmod +x /pfad/zum/script/splitter.sh

Danach kannst du das im Terminal anwenden:

Code

/pfad/zum/script/splitter.sh /pfad/zu/deiner/source/datei.txt

Du kannst das vereinfachen, wen du die splitter.sh in nen Ordner legst der in deinem $PATH ist aber so klappt es.

kim88

Meine ursprüngliche "splitter.sh" ist falsch, ich hab das Problem erst falsch gelesen. Die trennt nach "Zeilen" und nicht nach "Sätzen" sorry dafür. Mit dem Script müsste es aber gehen:

Bash: splitter.sh

#!/bin/bash

# Überprüfe, ob ein Dateiname als Argument übergeben wurde
if [ "$#" -ne 1 ]; then
    echo "Bitte geben Sie den Dateinamen als Argument an."
    exit 1
fi

# Überprüfe, ob die übergebene Datei existiert
if [ ! -f "$1" ]; then
    echo "Die angegebene Datei existiert nicht."
    exit 1
fi

# Zähler für die Dateinamen
count=1

# Trenne den Inhalt der Textdatei nach Sätzen und schreibe jeden Satz in eine separate Datei
grep -oE '[^[:blank:]][^.!?]*[.!?]' "$1" | while IFS= read -r sentence; do
    echo "$sentence" > "datei$count.txt"
    ((count++))
done

Alles anzeigen

Lessli

Ich habe da auch mal was vorbereitet:

Neuer Link: http://web139.c3.webspace-verkauf.de/text_nach_punk…kt_splitten.zip

(Linux Mint)

kim88

Lessli Sorry ich habe deinen Download Link entfernt. Kannst du versuchen die Datei zu zippen oder der Datei eine Dateiendung geben. Sowohl Firefox wie auch Google Chrome warnen vor dem Download und blockieren ihn.

Lessli

kim88 habe ich korrigiert. So Ok?

kim88

Es zeigt halt immer noch eine Sicherheitswarnung an und blockiert den Download.

Conrat

Danke kim88

Die zweite Version teilt die Ursprungsdatei genau so auf, wie ich es mir vorgestellt hatte.

Danke noch einmal

rijo

kim88 - das problem liegt an dem unsicheren 'http:' link, deswegen meckern firefox & co.

rijo...

Conrat

kim88

Ich habe leider immer noch ein kleines Problem.

Das Skript läuft einwandfrei, solange keine Umlaute enthalten sind. Aus

Aus dem Gespräch der beiden erfährt er die Hintergründe seiner Reise nach England.

wird dann

nde seiner Reise nach England.

Vielleicht weißt du auch dafür eine Lösung?

kim88

Das kommt davon, wenn man nur mit Lorem Ipsum Texten testet.

Das sollte das Problem lösen - unter der Voraussetzung das deine "source.txt" UTF-8 formatiert ist.

Bash: splitter.sh

#!/bin/bash

# Überprüfe, ob ein Dateiname als Argument übergeben wurde
if [ "$#" -ne 1 ]; then
    echo "Bitte geben Sie den Dateinamen als Argument an."
    exit 1
fi

# Überprüfe, ob die übergebene Datei existiert
if [ ! -f "$1" ]; then
    echo "Die angegebene Datei existiert nicht."
    exit 1
fi

# Zähler für die Dateinamen
count=1

# Trenne den Inhalt der Textdatei nach Sätzen und schreibe jeden Satz in eine separate Datei
awk -v RS='[.!?]' '{gsub(/^[[:space:]]+|[[:space:]]+$/, "", $0); gsub(/[^[:print:]]/, "", $0); if (length($0) > 0) { print $0 "." }}' "$1" | while IFS= read -r sentence; do
    echo "$sentence" > "datei$count.txt"
    ((count++))
done

Alles anzeigen

Conrat

kim88

Fast perfekt. Das Skript trennt jetzt zwar korrekt, löscht aber auch die vorhandenen Umlaute:

Aus dem Gesprch der beiden erfhrt er die Hintergrnde seiner Reise nach England.

kim88

Dann ist die Quelldatei wahrscheinlich nicht UTF-8. Kannst du versuchen die nach UTF-8 zu konvertieren. Am einfachsten wohl Inhalt kopieren neue Textdatei erstellen, Inhalt einfügen -> als UTF-8 abspeichern.

Conrat

Hoppla – ich habe gerade gesehen, das das File in iso-8859-1 codiert ist.

kim88

Du kannst noch irgendwas in die Richtung versuchen - ist gerade ungetestet. Das konvertiert die Datei quasi on-the-fly:

Bash

#!/bin/bash

# Überprüfe, ob ein Dateiname als Argument übergeben wurde
if [ "$#" -ne 1 ]; then
    echo "Bitte geben Sie den Dateinamen als Argument an."
    exit 1
fi

# Überprüfe, ob die übergebene Datei existiert
if [ ! -f "$1" ]; then
    echo "Die angegebene Datei existiert nicht."
    exit 1
fi

# Zähler für die Dateinamen
count=1

# Trenne den Inhalt der Textdatei nach Sätzen und schreibe jeden Satz in eine separate Datei
iconv -f ISO-8859-1 -t UTF-8 "$1" | awk -v RS='[.!?]' '{gsub(/^[[:space:]]+|[[:space:]]+$/, "", $0); gsub(/[^[:print:]]/, "", $0); if (length($0) > 0) { print $0 "." }}' | while IFS= read -r sentence; do
    echo "$sentence" > "datei$count.txt"
    ((count++))
done

Alles anzeigen

Conrat

kim88

Es konvertiert jetzt beim Aufruf, ich habe es auch schon mit einem vorherigen Konvertieren getestet, aber die Umlaute sind in der Ausgabedatei trotzdem nicht mehr enthalten.

kim88

Sicher weil bei mir klappt es:

Das ist das Script:

Bash

#!/bin/bash

# Überprüfe, ob ein Dateiname als Argument übergeben wurde
if [ "$#" -ne 1 ]; then
    echo "Bitte geben Sie den Dateinamen als Argument an."
    exit 1
fi

# Überprüfe, ob die übergebene Datei existiert
if [ ! -f "$1" ]; then
    echo "Die angegebene Datei existiert nicht."
    exit 1
fi

# Zähler für die Dateinamen
count=1

# Trenne den Inhalt der Textdatei nach Sätzen und schreibe jeden Satz in eine separate Datei
awk -v RS='[.!?]' '{gsub(/^[[:space:]]+|[[:space:]]+$/, "", $0); gsub(/[^[:print:]]/, "", $0); if (length($0) > 0) { print $0 "." }}' "$1" | while IFS= read -r sentence; do
    echo "$sentence" > "datei$count.txt"
    ((count++))
done

Alles anzeigen

Das ist meine Source-Datei - ja ich weiss nicht sonderlich kreativ einfach lroemipsum mit ein paar umlauten gespickt:

Code

Lorem ipsöum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vöäüero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor öüsit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.   

Duiäs autem vel eum iriureööö dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi. Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat.   

Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat. Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse.

Und hier findest du die Textdateien die es mir generiert (inkl den Umlauten):

Archiv.zip

Conrat

Ich habe das (gesamte) Skript noch einmal neu aufgesetzt. Jetzt läuft es.

Die von dir gefundene Lösung war ja nur ein Teil, und ich vermute, dass sich schon vorher irgendwo ein Fehler eingeschlichen hatte.

Dank dir noch einmal für deine Hilfe

Text nach einem Punkt (.) "splitten"

Jetzt mitmachen!

Tags

5 Benutzer haben hier geschrieben

Benutzer online in diesem Thema