<div dir="ltr">Thanks for sharing Brad!<div><br></div><div>I've often wondered about fragmentation in Linux filesystems and why it's not talked about (that I've seen).</div><div><br></div><div><a href="http://askubuntu.com/questions/221079/how-to-defrag-an-ext4-filesystem">http://askubuntu.com/questions/221079/how-to-defrag-an-ext4-filesystem</a><br></div><div><br></div><div>Cheers for the info and real world data.<br></div><div><br></div><div>Byron</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Mar 17, 2017 at 1:06 PM, Brad Campbell <span dir="ltr"><<a href="mailto:brad@fnarfbargle.com" target="_blank">brad@fnarfbargle.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">G'day all,<br>
<br>
I'm approaching my 6 yearly HD replacement on my bulk storage array. Current array is 14 x 2TB drives in a RAID6 with an ext4 filesystem.<br>
This array was re-built with a fresh format in 2013, so it has about 4 years heavy use on the filesystem.<br>
<br>
I can stream direct from the md block device at about 1.2GB/s, but I was finding when copying files across the network I was getting about ~150MB/s (tar and netcat). I tried streaming some larger files (~1TB) to /dev/null and saw the same transfer rates. So 1.2GB/s from the array and 150MB/s from the filesystem. What gives?!?<br>
<br>
Fragmentation. You know, that thing _everyone_ says just isn't a problem on Linux? Twaddle.<br>
<br>
I ran e4defrag over a directory of video files (~1.5TB). This took 2 days, but afterwards the average transfer rate (tar to /dev/null) went from about 150MB/s to 500MB/s. The 1TB file mentioned above went from ~150MB/s to ~600MB/s.<br>
<br>
Having said that, the 1TB file copied across to the replacement array was giving me ~900MB/s until I used e4defrag on it. Now it's down to 500MB/s. So things are not perfect in defrag land. None the less, fragmentation does become an issue on heavily used, mostly full filesystems over a long period of time, and e4defrag does have tangible benefit in helping clean this up.<br>
<br>
Now I wish someone had a good offline defragger that planned ahead and really reorganized the drives like they do for FAT and NTFS. Even as a once every couple of year thing. On large arrays you just can't copy the files somewhere else, then copy them back to defragment them.<br>
<br>
Just more rambling as I come across stuff that I think is worth mentioning.<br>
<br>
______________________________<wbr>_________________<br>
PLUG discussion list: <a href="mailto:plug@plug.org.au" target="_blank">plug@plug.org.au</a><br>
<a href="http://lists.plug.org.au/mailman/listinfo/plug" rel="noreferrer" target="_blank">http://lists.plug.org.au/mailm<wbr>an/listinfo/plug</a><br>
Committee e-mail: <a href="mailto:committee@plug.org.au" target="_blank">committee@plug.org.au</a><br>
PLUG Membership: <a href="http://www.plug.org.au/membership" rel="noreferrer" target="_blank">http://www.plug.org.au/members<wbr>hip</a><br>
</blockquote></div><br></div>