Wer mit vielen Mails zu tun hat, der verliert oft den Überblick - MailBurg eine Archivlösung ...

  • Hallo zusammen, ein kurzer Wochenrückblick!
    Eine Bitte, die zwei Minuten kostet und die ich mir selbst hätte früher stellen sollen.

    Diese Woche sind mir gleich mehrere Wege untergekommen, auf denen der Abruf stehenbleibt, ohne dass irgendwo etwas rot wird: ein Passwort, das der Anbieter nicht mehr nimmt; ein Server, der seine internen Nummern neu vergeben hat; ein Systempaket, das beim Aufräumen mitgegangen ist. In allen Fällen sieht das Archiv gesund aus, die Prüfung sagt das auch - es kommt nur nichts Neues mehr an.

    Wer den Abruf im Hintergrund laufen lässt, merkt das besonders spät: Ein geplanter Abruf hat kein Fenster, in dem er sich beschweren könnte.

    Der schnellste Test

    Öffnet MailBurg und schaut unten rechts in die Statuszeile. Dort steht, wann zuletzt abgerufen wurde. Ist das länger her, als es sein sollte,
    stimmt etwas nicht.

    Der gründlichere

    Post -> Ist alles im Archiv?

    Das fragt eure Postfächer, was dort älter als ein Stichtag ist, und vergleicht es mit dem Archiv. Nur wenn dort überall "vollständig" steht, ist wirklich alles drin.

    Bei mir hat dieser Vergleich zwei Postfächer gefunden, in denen seit Monaten nichts mehr ankam - was in meinem Fall gewollt war, aber ich
    wusste es schlicht nicht mehr.

    Was in der neuen Fassung steckt

    1.7.5 räumt zwei dieser Fallen weg. Wenn der Schlüsselbund fehlt, sagt MailBurg das jetzt, statt "kein Passwort hinterlegt" zu melden - das
    hat eine Anwenderin fast dazu gebracht, alle Passwörter neu einzutippen, in einen Speicher, den es nicht mehr gab. Und das
    Debian-Paket bringt den Schlüsselbund jetzt zwingend mit, damit ihn kein "apt autoremove" wegräumen kann.

    Ich wünsche Euch ein tolles Wochenende!

    Gruß Stephan

    Berliner in Seefeld / Tirol - seit 2024 auf Linux unterwegs - mit Fokus auf Bild-, Grafik- & Videobearbeitung - GuideOS Core Team - STEAM

    Desktop: 6-core model: Intel Core i5-8400 / Manjaro-Plasma - Laptop T490: 4-core model: Intel Core i7-8665U / GuideOS

  • So in den letzten Wochen habt Ihr mir viele Dinge gezeigt und auch Fehler aufgedeckt. Für die Zukunft werde ich nur dann eine neue Version raus bringen, wenn tatsächlich Fehler auftauchen. Alle anderen Dinge die kommen werden gesammelt und dann gibt es einmal im Monat ein Update. Wenn es denn notwendig ist!

    Dann kommt auch etwas Ruhe in die Sache und Ihr könnt MailBurg in ruhe nutzen & testen. Aber natürlich stehe ich hier weiter für Fragen und Wünsche zur Verfügung!

    GitHub - Stephan-Lefty/MailBurg: Plattformübergreifendes Archiv für E-Mail. Beliebig viele Postfächer, Archivort frei wählbar, Volltextsuche auch in Anhängen. Linux, Windows, macOS.
    Plattformübergreifendes Archiv für E-Mail. Beliebig viele Postfächer, Archivort frei wählbar, Volltextsuche auch in Anhängen. Linux, Windows, macOS. -…
    github.com

    Gruß Stephan

    Berliner in Seefeld / Tirol - seit 2024 auf Linux unterwegs - mit Fokus auf Bild-, Grafik- & Videobearbeitung - GuideOS Core Team - STEAM

    Desktop: 6-core model: Intel Core i5-8400 / Manjaro-Plasma - Laptop T490: 4-core model: Intel Core i7-8665U / GuideOS

  • Ich fasse jetzt immer zum 1. MAILBurg an und hier gibt es jetzt die Version 1.7.7 und ihren Änderungen. https://github.com/Stephan-Lefty/…in/CHANGELOG.md

    Gruß Stephan

    Berliner in Seefeld / Tirol - seit 2024 auf Linux unterwegs - mit Fokus auf Bild-, Grafik- & Videobearbeitung - GuideOS Core Team - STEAM

    Desktop: 6-core model: Intel Core i5-8400 / Manjaro-Plasma - Laptop T490: 4-core model: Intel Core i7-8665U / GuideOS

  • Betreff: MAILBurg Server
    827.199 Mails umgezogen – und sieben Fehler in meinem eigenen Programm gefunden!

    Gestern Nacht ist das Mailarchiv einer Firma von MailStore nach MailBurg umgezogen. Ich schreibe das hier auf, weil der Tag weniger über die Zahl gesagt hat als über die Stellen, an denen mein Programm nicht hält, was es verspricht. Einen Befund davon sollte jeder kennen, der MailBurg einsetzt – dazu unten mehr.

    Die Ausgangslage: MailStore Server, über 30 Archive, über 820.000 Mails, rund 20 Jahre Geschäftskorrespondenz. Der Weg führt über EML-Dateien; eine .eml ist die Mail genau so, wie sie über das Netz ging, also bleibt auch die DKIM-Signatur heil.

    Siebzehn Importläufe über Nacht, 5 Stunden 19 Minuten. Am Ende stehen über 580.000 Mails im Archiv, 107 GB auf Platte, Hash-Kette unversehrt über 580.000 Einträge.

    Die Zahl, die mir wichtiger ist, ist aber diese:

    827.199 Dateien ausgegeben
    -295.072 Papierkorb, Spam, Entwürfe (bewusst ausgelassen)
    532.127 gelesen
    - 13.373 bereits vorhanden
    518.754 neu aufgenommen
    + 70.283 Bestand vorher
    589.058 im Archiv

    Jede einzelne ausgegebene Datei ist erklärt, und die Rechnung geht ohne Rest auf. Das ist der Unterschied zwischen "sieht vollständig aus" und "ist nachweisbar vollständig" – ein Archiv, in dem etwas fehlt, sieht nämlich genauso aus wie eins, in dem nichts fehlt.

    Die 13.373 Dubletten sind übrigens kein Makel, sondern der Gewinn: MailStore führt je Postfach ein eigenes Archiv und legt dieselbe Rundmail dort jedes Mal erneut ab. MailBurg speichert sie einmal und merkt sich jeden Fundort.

    Jetzt zu den Fehlern.

    Der wichtigste, und der Grund für diesen Beitrag: Wenn beim Sichern gleichzeitig ein Abruf läuft, entsteht eine Sicherung, die sich selbst widerspricht. Die Dateiliste wird am Anfang erstellt, das Journal als Letztes gepackt – eine Mail, die dazwischen ankommt, hat ihren Journaleintrag in der Sicherung, aber keine Datei. Und das Schlimmste: Die Sicherung sieht vollständig aus. Die Hash-Kette darin ist intakt, die Dateizahl plausibel. Gemerkt habe ich es fünf Tage später an zwei fehlenden Mails im wiederhergestellten Archiv.

    Wer MailBurg mit nächtlicher Sicherung betreibt: Bitte darauf achten, dass Sicherung und Abruf nicht in dieselbe Zeit fallen. Bei der Server-Variante den Dienst vorher anhalten. Ich baue das so um, dass es nicht mehr passieren kann, aber das dauert noch.

    Zwei weitere, die andere auch treffen können:

    "winget install UB-Mannheim.TesseractOCR" installiert tesseract still – und damit ohne deutsche Sprachdaten. MailBurg meldet danach brav "Texterkennung: ja" und liest deutsche Rechnungen mit dem englischen Modell. Im Quelltext steht seit jeher der Satz "Lieber gar nicht erkennen als falsch"; der Code tat genau das Gegenteil. Fast wären 77.000 Scans als Buchstabensalat im Suchindex gelandet – und eine Suche, die Unsinn findet, ist schlimmer als eine, die nichts findet.

    Und: "mailburg pruefen" meldete zwei fehlende Mails – mit nichts als den ersten 16 Zeichen ihrer Prüfsumme. Alles Übrige steht im Journal direkt daneben: Postfach, Ordner, Datum, Absender, Betreff. Ausgerechnet das Werkzeug für den Schadensfall ließ einen mit zwei Hexzahlen stehen. Ist behoben.

    Was ich selbst gelernt habe, hat mit dem Programm gar nichts zu tun. Ich habe an diesem Tag dreimal eine Theorie aufgestellt, die falsch war – und alle drei hatten dieselbe Ursache: Ich habe etwas gesucht, nichts gefunden und daraus geschlossen, dass es nicht da ist.

    Einmal war das Ereignisprotokoll falsch gefiltert. Einmal hielt ich das Datum einer Mail für den Zeitpunkt ihrer Archivierung. Und einmal – das ist mein Favorit – habe ich in einer Protokolldatei nach "Übergangen" gesucht und nichts gefunden, weil die Windows-Konsole in einer alten Codepage schreibt und dort "▄bergangen" steht. Daraufhin war ich eine Stunde lang überzeugt, dass 295.072 Mails verloren seien. Sie waren nie weg; die Meldung stand in jedem einzelnen der achtzehn Läufe da.

    Eine Suche, die nichts findet, ist kein Befund. Sie ist eine Messung, und Messungen können falsch sein.

    Die Anleitung mit allem, was dabei herauskam, steht im Repo unter docs/mailstore-umzug.md – einschließlich der Vollständigkeitsrechnung zum Nachmachen, der Virenscanner-Falle (der Defender nimmt dem Exportprogramm Mails aus der Hand, und ein Mailarchiv enthält nun mal alte Schadsoftware) und der Dinge, die man vorher wissen will.

    MailBurg ist quelloffen, MIT-Lizenz: https://github.com/Stephan-Lefty/MailBurg

    Fragen beantworte ich gern.

    Gruß Stephan

    Berliner in Seefeld / Tirol - seit 2024 auf Linux unterwegs - mit Fokus auf Bild-, Grafik- & Videobearbeitung - GuideOS Core Team - STEAM

    Desktop: 6-core model: Intel Core i5-8400 / Manjaro-Plasma - Laptop T490: 4-core model: Intel Core i7-8665U / GuideOS

  • Ich hätte noch einen Wunsch:

    Ich möchte ungern Spam- und Phishing-Mails (die bei mir erst im Mailprogramm gefiltert werden) archivieren.
    Dann gibt es noch viele Mails, die kein Spam sind, die ich aber nach Kenntnisnahme auch nicht behalten will, z.B. die Benachrichtigungen von Duolingo & Co, Newsletter von Zeitungen und Zeitschriften, Werbung zu Fernsehprogrammen von Netflix usw.

    Die einfachste Möglichkeit, die mir dazu einfällt, ist: nur gelesene Mails zu archivieren, also Mails mit dem SEEN-Flag.
    Mails, die nur für 1-2 Tage interessant sind, würde ich im Mail-Programm löschen oder in einen lokalen Mail-Ordner verschieben.

    Daher wünsche ich mir eine Option "Nur gelesene Mails archivieren" im Dialog Einstellungen->"Was von selbst laufen soll".
    Ich denke, dass die Option nur für Privatkonten, aber nicht für Geschäftskonten sinnvoll oder erlaubt ist. Ist so etwas schon geplant?

    Zotac ZBox ID91: Zorin OS 18 (GNOME) und NixOS 26.05 (GNOME)
    Geekom Mini IT11: Fedora 44 Silverblue (GNOME)
    Macbook Pro 2015: NixOS 26.05 (GNOME)

  • Ich hätte noch einen Wunsch:

    Ich möchte ungern Spam- und Phishing-Mails (die bei mir erst im Mailprogramm gefiltert werden) archivieren.
    Dann gibt es noch viele Mails, die kein Spam sind, die ich aber nach Kenntnisnahme auch nicht behalten will, z.B. die Benachrichtigungen von Duolingo & Co, Newsletter von Zeitungen und Zeitschriften, Werbung zu Fernsehprogrammen von Netflix usw.

    Die einfachste Möglichkeit, die mir dazu einfällt, ist: nur gelesene Mails zu archivieren, also Mails mit dem SEEN-Flag.
    Mails, die nur für 1-2 Tage interessant sind, würde ich im Mail-Programm löschen oder in einen lokalen Mail-Ordner verschieben.

    Daher wünsche ich mir eine Option "Nur gelesene Mails archivieren" im Dialog Einstellungen->"Was von selbst laufen soll".
    Ich denke, dass die Option nur für Privatkonten, aber nicht für Geschäftskonten sinnvoll oder erlaubt ist. Ist so etwas schon geplant?

    Hallo, wenn Du ein privates Archiv anlegst, kannst Du auch jederzeit löschen. Und Du kannst doch selbst entscheiden wie oft MAILBurg die Mails abruft.

    Ist das nicht ausreichend?

    Gruß Stephan

    Berliner in Seefeld / Tirol - seit 2024 auf Linux unterwegs - mit Fokus auf Bild-, Grafik- & Videobearbeitung - GuideOS Core Team - STEAM

    Desktop: 6-core model: Intel Core i5-8400 / Manjaro-Plasma - Laptop T490: 4-core model: Intel Core i7-8665U / GuideOS

  • wenn Du ein privates Archiv anlegst, kannst Du auch jederzeit löschen. Und Du kannst doch selbst entscheiden wie oft MAILBurg die Mails abruft.

    Ist das nicht ausreichend?

    In ein Archiv sollte nach meinem Verständnis nur ein abgeschlossener Stand gesichert werden. Das Aufräumen unerwünschter oder nur temporär lesenswerter Mails sollte also im Mail-Client (bei mir Evolution) erfolgen. Bei ungelesenen Mails ist die Entscheidung noch nicht gefallen, ob sie aufbewahrt werden sollten oder nicht. Daher meine Idee, nur gelesene Mails abzurufen. Aber damit widerspreche ich mir selber.

    Ich sollte also meine Mails vor der Archivierung aufräumen und erst dann die Archivierung manuell starten. Somit ist mein gewünschtes Feature doch überflüssig.

    Die Kombination von automatischem Abruf in festen Intervallen (zur Zeit ist 30 Minuten die Voreinstellung) mit Filterung von ausgeschlossenen Unterordnern und im Betreff als Spam markierte Mails halte ich aber für problematisch. Ein Nutzer eines Mail-Programms kann ja nach Belieben Mails löschen oder gelöschte wiederherstellen oder Mails in den Spam-Ordner verschieben. Demnach hängt es vom zufälligen Zeitpunkt des Timers ab, ob manche Mails archiviert werden. Es wäre kein Problem, wenn grundsätzlich alle Mails archiviert werden würden. Wenn ich nichts übersehen habe, kann man in der GUI aber gar nicht die ausgeschlossenen Unterordner wie Papierkorb, Spam etc. beeinflussen. (Vielleicht geht das manuell durch Editieren der konten.json Datei?)

    Dann erweckt die Mailburg-GUI (Version 1.8.2 auf Fedora 44) den Eindruck, als ob der Hintergrunddienst zum Abholen der Mail verpflichtend wäre. Wenn ich die Option "Neue Post im Hintergrund abholen" abwähle, wird sie zwar ausgeführt und der Systemd-Timer gelöscht. Aber beim nächsten Öffnen des Dialogs "Was von selbst laufen soll" ist die Option wieder als aktiv markiert mit dem 30-Minuten Abstand. Immerhin wir der Systemd-Timer dann nicht neu erstellt, außer man klickt auf "Übernehmen".

    Zotac ZBox ID91: Zorin OS 18 (GNOME) und NixOS 26.05 (GNOME)
    Geekom Mini IT11: Fedora 44 Silverblue (GNOME)
    Macbook Pro 2015: NixOS 26.05 (GNOME)

  • Hallo joka63,

    drei Punkte, drei verschiedene Antworten – und bei einem hast du einen Fehler gefunden, der seit August drinsteckt.

    ## Der Haken, der wiederkommt – behoben

    > Wenn ich die Option "Neue Post im Hintergrund abholen" abwähle, wird > sie zwar ausgeführt und der Systemd-Timer gelöscht. Aber beim nächsten > Öffnen des Dialogs ist die Option wieder als aktiv markiert.

    Das ist ein Fehler, und du hast ihn genau beschrieben. Im Dialog stand

    ```python
    self.an.setChecked(stand.laeuft or stand.moeglich)
    ```

    `möglich` heißt aber nur: *auf diesem System ließe sich ein Zeitplan anlegen* – also schlicht, dass es systemd gibt. Der Haken beschrieb
    damit die Maschine statt deinen Wunsch.

    Das Ärgerliche daran ist nicht die Anzeige, sondern was danach passiert:
    Ein Klick auf »Übernehmen« hätte den Zeitplan wieder angelegt, den du gerade loswerden wolltest.

    **Der Sicherungsdialog direkt darunter macht es seit dem 30. August richtig**
    – damals aus genau demselben Anlass behoben und hier nicht nachgezogen. Zwei Stellen, eine nachgezogen, die andere nicht; das ist in diesem Projekt der häufigste Fehler überhaupt. Der neue Test prüft deshalb beide nebeneinander, damit sie nicht wieder auseinander laufen.

    ## Die Ausschlussliste in der Oberfläche – du hast recht

    > Wenn ich nichts übersehen habe, kann man in der GUI aber gar nicht die > ausgeschlossenen Unterordner wie Papierkorb, Spam etc. beeinflussen.

    Du hast nichts übersehen. Im Kontenfenster gibt es nur »Ausschlussliste auffrischen«, und das trägt lediglich **fehlende Vorgabenamen nach** – entfernen oder eigene hinzufügen kann man dort nicht. Dafür braucht es `mailburg konten ausschluss` im Terminal.

    Das ist eine Lücke, und zwar eine, die mir unangenehm ist: Die Ausschlussliste entscheidet darüber, *was überhaupt ins Archiv kommt*.
    Eine Einstellung mit dieser Tragweite gehört nicht ins Terminal. Steht auf der Liste.

    Die `konten.json` von Hand zu bearbeiten geht übrigens – MailBurg liest sie beim Start. Nur würde ich das Programm dabei geschlossen halten.

    ## Der Zufall des Timers – der interessanteste Punkt

    > Demnach hängt es vom zufälligen Zeitpunkt des Timers ab, ob manche > Mails archiviert werden.

    **Das stimmt, und es ist mir so klar noch nie gesagt worden.**
    Wer eine Mail löscht, bevor der Abruf sie gesehen hat, bekommt sie nie ins Archiv. Wer sie danach löscht, hat sie drin. Der Inhalt des Archivs
    hängt also daran, wer schneller war – Mensch oder Timer. Für ein privates Archiv finde ich das vertretbar. Für ein geschäftliches ist es genau der wunde Punkt, denn dort ist Vollständigkeit der Zweck. Mein eigenes Firmenarchiv läuft mit 30 Minuten Takt und hat dieselbe Lücke.

    **Beheben lässt sich das nicht, jedenfalls nicht von einem Client aus.**
    Lückenlos wäre nur eine serverseitige Journalarchivierung, bei der der Mailserver selbst jede Nachricht beim Ein- und Ausgang ablegt. Das kann
    MailBurg nicht, und MailStore kann es auch nicht – dort heißt es nur nicht dazu.

    **Was ich stattdessen tue: es hinschreiben.** In RECHTLICHES.md und in die Anleitung zum Postfach-Entlasten. Wer ein Archiv für die
    Aufbewahrungspflicht betreibt, muss wissen, dass zwischen Eingang und Abruf eine Lücke klafft. Das ist keine schöne Auskunft, aber eine
    ehrliche – und ohne sie würde jemand aufräumen im Vertrauen auf etwas, das so nicht gilt.

    Dein eigener Schluss – erst im Mailprogramm aufräumen, dann von Hand archivieren – ist für dein Nutzungsbild übrigens genau richtig. Dass du dich dabei selbst widerlegt hast, spricht nicht gegen dich; du hast die Frage dabei präziser gestellt als ich sie je gestellt hatte.

    ## Zum Nachlesen

    Der Haken ist behoben und liegt in `main`. In eine Fassung kommt er mit der nächsten Sammlung – er trifft niemanden stillschweigend, und ich
    habe hier zugesagt, nicht jede zweite Woche eine neue Nummer herauszugeben.

    Danke dir. Was du gefunden hast, wäre durch keinen Test gefallen, den ich mir selbst ausdenke – und der dritte Punkt hat mir eine Frage
    gestellt, die ich mir so noch nicht gestellt hatte.

    Gruß Stephan

    Berliner in Seefeld / Tirol - seit 2024 auf Linux unterwegs - mit Fokus auf Bild-, Grafik- & Videobearbeitung - GuideOS Core Team - STEAM

    Desktop: 6-core model: Intel Core i5-8400 / Manjaro-Plasma - Laptop T490: 4-core model: Intel Core i7-8665U / GuideOS

  • MailBurg 1.8.4 ist da – die erste Sammelfassung im Monatsrhythmus

    Hallo zusammen,

    wie angekündigt kommen neue Versionen jetzt gesammelt einmal im Monat – und nur dann, wenn wirklich etwas dazugekommen ist. Für den November sind es zwei Dinge, beide aus Rückmeldungen hier aus dem Forum:

    1. Der automatische Abruf ließ sich nicht dauerhaft abschalten.
    Wer im Fenster "Was von selbst laufen soll" den Haken entfernt hatte, fand ihn beim nächsten Öffnen wieder gesetzt – und ein Klick auf "Übernehmen" legte genau den Zeitplan neu an, den man gerade loswerden wollte. Der Haken richtete sich danach, ob das System überhaupt automatische Abläufe beherrscht, statt danach, was man selbst eingestellt hatte. Das ist behoben: Abgewählt bleibt jetzt abgewählt.

    2. Auf NixOS bricht die Installation über install.sh nicht mehr wortlos ab.
    Vorher endete sie tief in der Paketinstallation mit einer Meldung über eine fehlende Systembibliothek – wer die liest, sucht den Fehler bei sich. Jetzt hört das Skript vorher auf, sagt klar, warum es auf NixOS so nicht geht, und nennt die zwei Wege, die zum Ziel führen: das AppImage oder eine Installation ohne grafische Oberfläche.

    Beide Punkte gehen auf joka63 zurück, der MailBurg unter anderem für NixOS paketiert. Herzlichen Dank dafür – solche Hinweise von Leuten, die MailBurg anders benutzen als ich, sind mehr wert als jeder selbst ausgedachte Test.

    Ansonsten bleibt alles wie gewohnt. Wer von beidem nichts gemerkt hat, muss nicht sofort aktualisieren – es ist bewusst eine ruhige Fassung. Es soll ja Ruhe in die Sache kommen, damit ihr MailBurg in Ruhe nutzen und testen könnt.

    Download wie immer auf der Release-Seite:

    Release MailBurg 1.8.4 · Stephan-Lefty/MailBurg
    Die erste Sammelfassung seit der Umstellung auf den Monatsrhythmus – zwei Dinge, die im Oktober aufgelaufen sind. Keines davon war dringend genug für eine…
    github.com

    Viele Grüße
    Stephan

    Gruß Stephan

    Berliner in Seefeld / Tirol - seit 2024 auf Linux unterwegs - mit Fokus auf Bild-, Grafik- & Videobearbeitung - GuideOS Core Team - STEAM

    Desktop: 6-core model: Intel Core i5-8400 / Manjaro-Plasma - Laptop T490: 4-core model: Intel Core i7-8665U / GuideOS

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!