<p>I know you've said that grep is slow, but in my experience that's only really true for case in-sensitive (-i) searching.</p>
<p>Have you tested a non-case sensitive search?</p>
<p>If that speed is acceptable, perhaps converting the whole lot to one case and searching that might be a whole lot simpler.</p>
<p>Also, consider your file system mount options, update on access etc.<br></p>
<p>Onno Benschop, ITmaze</p>
<div class="gmail_quote">On 04/09/2011 12:56 PM, "Michael Holland" <<a href="mailto:michael.holland@gmail.com">michael.holland@gmail.com</a>> wrote:<br type="attribution">> Thanks folks. Perl frontend with SQL datbase it is then.<br>
> I'll go look at DBD::SQLite and DBIx::Class  My PERL is rusty, but I like it.<br>> <br>> On Fri, Sep 2, 2011 at 4:30 PM, Alexander Hartner <<a href="mailto:alex@j2anywhere.com">alex@j2anywhere.com</a>> wrote:<br>
>> When importing large amounts of data there are some things to consider which are common to all databases.<br>>><br>>> If you are using individual insert statements would would want to disable AUTOCOMMIT and manuall commit every X-thousand entries as well as use a prepared statement to avoid the SQL statement from being processes over and over again.<br>
>><br>>> If you not going to use insert statements and opt to use something like postgresql's COPY or DB2's LOAD command you should bet much better performance for the import. Typically these import the data without applying triggers, referential integrity etc. You should have a look at the options available by the database engine you decide on.<br>
>><br>>> Regards<br>>> Alex<br>>><br>> _______________________________________________<br>> PLUG discussion list: <a href="mailto:plug@plug.org.au">plug@plug.org.au</a><br>> <a href="http://lists.plug.org.au/mailman/listinfo/plug">http://lists.plug.org.au/mailman/listinfo/plug</a><br>
> Committee e-mail: <a href="mailto:committee@plug.org.au">committee@plug.org.au</a><br>> PLUG Membership: <a href="http://www.plug.org.au/membership">http://www.plug.org.au/membership</a><br></div>