<div dir="ltr">I'd be interested to know what your solution is too. My situation doesn't sound as bad as yours, but in the past it has gotten pretty bad and many hours have been spent de-duping backups of backups.<div><br></div><div>Tim</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 1 September 2014 22:10, John McCabe-Dansted <span dir="ltr"><<a href="mailto:gmatht@gmail.com" target="_blank">gmatht@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I have many different disks (primarily sitting on online servers or<br>
offline removable harddisks) storing various files. I want to know<br>
that they are all backed up in some form. Given that I have terabytes<br>
of files somehow (backups of backups apparently) I don't want to just<br>
backup everything onto new media yet again. I'd like to be able to<br>
quickly maintain a list of sha256 or md5 sums that could be used to:<br>
<br>
1) To list all files on X that are not duplicated/backed up on other media<br>
2) Deduplicate files on X quickly (using existing md5 hashes).<br>
3) To list all files that are not duplicated onto offline or WORM storage<br>
4) To list all files that are not duplicated onto offsite storage<br>
5) Match JPGs by EXIF date.<br>
<br>
It seems to me that I wouldn't be the only person in this boat.<br>
However, there doesn't seem to be a tool even just to quickly update a<br>
list of file hashes. For example, md5deep wants to regenerate hashes<br>
for unmodified files on every run.<br>
<br>
I am looking at writing a tool to record and manage file IDs across<br>
media [1], but doing this right could take quite a while.<br>
<br>
How do other people handle this?<br>
<br>
<br>
[1] <a href="https://github.com/gmatht/joshell/tree/master/mass_file_management" target="_blank">https://github.com/gmatht/joshell/tree/master/mass_file_management</a><br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
John C. McCabe-Dansted<br>
_______________________________________________<br>
PLUG discussion list: <a href="mailto:plug@plug.org.au">plug@plug.org.au</a><br>
<a href="http://lists.plug.org.au/mailman/listinfo/plug" target="_blank">http://lists.plug.org.au/mailman/listinfo/plug</a><br>
Committee e-mail: <a href="mailto:committee@plug.org.au">committee@plug.org.au</a><br>
PLUG Membership: <a href="http://www.plug.org.au/membership" target="_blank">http://www.plug.org.au/membership</a><br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br>Timothy White - Somewhere in Australia<br><br>
</div>