<div dir="ltr"><div dir="ltr">On Thu, 30 Mar 2023 at 17:36, Brad Campbell <<a href="mailto:brad@fnarfbargle.com">brad@fnarfbargle.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Having had a play for a week or so, I've found pigz -i compresses nearly as well as lbzip2 and 3 times faster. Admittedly the CPU is an old AMD FX-8350, so it's not exactly a screamer.<br>
I'm using a 996GB source directory of 28 rsync backups from various machines ranging from ~250M to ~590G. I tar and compress these to the staging drive before writing them to tape.<br></blockquote><div><br></div><div>Is this to avoid the shoe-shining effect?</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
tar through lbzip2 gets them down to 753G in 5 hours 23 minutes. That is limited by compression.<br>
tar through pigz -i gets them down to 763G in 1 hour 50 minutes. That's not limited by compression, rather tar reading the data from the "super cheap and nasty budget SSD" I chose to play with.<br></blockquote><div><br></div><div>You could also try `zstd -T8`</div><div> <br></div></div></div>