We had a few issues, nothing kernel related. Breakdown of what we saw (all linux boxen)<div><br></div><div>3x Machines with Mono/Java both under high load</div><div>1x Machine with Mysql/Java both under high load</div><div>
1x Machine with Java under high load</div><div><br></div><div>Fortunately UTC 00:00 being 08:00 locally meant no one noticed when I rebooted all the boxes. Not my preferred solution, but I had other things to do for the day. I did find a solution when all the people who'd finished dealing with the issue and didn't have the luxury of being to take things down:</div>
<div><br></div><div><a href="http://blog.mozilla.org/it/2012/06/30/mysql-and-the-leap-second-high-cpu-and-the-fix/">http://blog.mozilla.org/it/2012/06/30/mysql-and-the-leap-second-high-cpu-and-the-fix/</a></div><div><br></div>
<div>Leon<br clear="all">--<br>DRM 'manages access' in the same way that jail 'manages freedom.'<br><br># cat /dev/mem | strings | grep -i cats<br>Damn, my RAM is full of cats... MEOW!!<br>
<br><br><div class="gmail_quote">On Tue, Jul 3, 2012 at 7:35 AM, Alexander Hartner <span dir="ltr"><<a href="mailto:alex@j2anywhere.com" target="_blank">alex@j2anywhere.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I was looking for something more general. Surely this time it was cause by NTP, but who know what will happen next.<br>
<br>
Alex<br>
<div class="HOEnZb"><div class="h5"><br>
On 02/07/2012, at 21:14 , Paul Dean wrote:<br>
<br>
> hi Alex,<br>
><br>
> Best spot is <a href="http://ntp.org" target="_blank">ntp.org</a>, and maybe their mailing list.<br>
><br>
> Lots of of "leap" second stuff there.<br>
><br>
> Otherwise depending on your distro prefs, just install ntpd and point your boxen to the pool for the distro. ie *.<a href="http://debian.pool.ntp.org" target="_blank">debian.pool.ntp.org</a>.<br>
><br>
> Or you could hunt down a stratum 2/3 server use that. Prob best to email teh maintainer first.<br>
><br>
> HTH.<br>
><br>
> --<br>
><br>
><br>
> Thanks<br>
><br>
> Paul Dean.<br>
><br>
> "Life is not WHAT you make it, it's WHO you have in it..."<br>
><br>
><br>
> On Mon, 2 Jul 2012 18:55:16 +0800<br>
> Alexander Hartner <<a href="mailto:alex@j2anywhere.com">alex@j2anywhere.com</a>> wrote:<br>
><br>
>> Hi all,<br>
>><br>
>> I am sure by now most of you would have come across the leap second issue from last Saturday or at least heard of it.<br>
>><br>
>> <a href="http://asia.cnet.com/leap-second-bug-causes-site-outages-62217305.htm" target="_blank">http://asia.cnet.com/leap-second-bug-causes-site-outages-62217305.htm</a><br>
>> <a href="http://www.theregister.co.uk/2012/07/02/qantas_network_down/" target="_blank">http://www.theregister.co.uk/2012/07/02/qantas_network_down/</a><br>
>> <a href="https://bugzilla.redhat.com/show_bug.cgi?id=479765" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=479765</a><br>
>> <a href="https://access.redhat.com/knowledge/solutions/154793" target="_blank">https://access.redhat.com/knowledge/solutions/154793</a><br>
>> <a href="http://it.slashdot.org/story/12/07/01/1920217/leap-second-bug-causes-crashes" target="_blank">http://it.slashdot.org/story/12/07/01/1920217/leap-second-bug-causes-crashes</a><br>
>> <a href="https://access.redhat.com/knowledge/articles/15145" target="_blank">https://access.redhat.com/knowledge/articles/15145</a><br>
>> <a href="http://artipc10.vub.ac.be/wordpress/2012/07/01/leap-second-causing-ksoftirqd-and-java-to-use-lots-of-cpu-time/" target="_blank">http://artipc10.vub.ac.be/wordpress/2012/07/01/leap-second-causing-ksoftirqd-and-java-to-use-lots-of-cpu-time/</a><br>

>><br>
>> While there are many websites talking about this now and include a fix, I haven't found any dating back to Friday advising us to prepare for this. No doubt the problem lies with the websites I visit :-)<br>
>><br>
>> I was wondering if anybody can suggest / recommend a website which would have alerted us of this impending doom beforehand, so we can take pre-emtive action to address this.<br>
>><br>
>> I am still a bit confused on what systems are exactly impacted. For example systems running oracle jdk 1.6.0_30 were not affected while other running open-jdk 1.6.0_20&24 were affected. Similarly linux running 3.1.10-1.9-default and 2.6.35.14-97.44.amzn1.x86_64 had issues while 3.1.6-gentoo did not. I suspect the problem with run-away java threads has been addressed in more recent versions of Java and is not related to the linux kernel version.<br>

>><br>
>> Any thoughts on this?<br>
>> Best regards<br>
>> Alex<br>
>> _______________________________________________<br>
>> PLUG discussion list: <a href="mailto:plug@plug.org.au">plug@plug.org.au</a><br>
>> <a href="http://lists.plug.org.au/mailman/listinfo/plug" target="_blank">http://lists.plug.org.au/mailman/listinfo/plug</a><br>
>> Committee e-mail: <a href="mailto:committee@plug.org.au">committee@plug.org.au</a><br>
>> PLUG Membership: <a href="http://www.plug.org.au/membership" target="_blank">http://www.plug.org.au/membership</a><br>
><br>
><br>
> --<br>
><br>
> Thanks<br>
><br>
> Paul Dean.<br>
><br>
> "Life is not WHAT you make it, it's WHO you have in it..."<br>
> _______________________________________________<br>
> PLUG discussion list: <a href="mailto:plug@plug.org.au">plug@plug.org.au</a><br>
> <a href="http://lists.plug.org.au/mailman/listinfo/plug" target="_blank">http://lists.plug.org.au/mailman/listinfo/plug</a><br>
> Committee e-mail: <a href="mailto:committee@plug.org.au">committee@plug.org.au</a><br>
> PLUG Membership: <a href="http://www.plug.org.au/membership" target="_blank">http://www.plug.org.au/membership</a><br>
<br>
_______________________________________________<br>
PLUG discussion list: <a href="mailto:plug@plug.org.au">plug@plug.org.au</a><br>
<a href="http://lists.plug.org.au/mailman/listinfo/plug" target="_blank">http://lists.plug.org.au/mailman/listinfo/plug</a><br>
Committee e-mail: <a href="mailto:committee@plug.org.au">committee@plug.org.au</a><br>
PLUG Membership: <a href="http://www.plug.org.au/membership" target="_blank">http://www.plug.org.au/membership</a><br>
</div></div></blockquote></div><br></div>