Vergleiche das einfach mal mit einem Paketversand.
Das Paket ist ja auch nicht schon beim Empfänger, wenn Du aus der Postfiliale herauskommst. Da passieren noch einige Sachen im Hintergrund. Wenn alle Feierabend machen, nachdem Du die Filiale verlässt, kommt Dein Paket nie an und verrottet in der Abgabestelle.
Das ist kein Fehler, sondern einfach so gelöst. Den Cache kann man irgendwo abschalten, nur ist dann eben die CPU weiter damit beschäftigt. Irgend wer muss die Arbeit halt machen, und nichts kann die Daten schneller auf den Stick bringen, wenn der es einfach nicht schneller kann.