<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Jun 27, 2020, 19:37 Jelle van der Waa <<a href="mailto:jelle@vdwaa.nl">jelle@vdwaa.nl</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 27/06/2020 04:01, Sven-Hendrik Haase via arch-devops wrote:<br>
> On 26.06.20 19:07, Sven-Hendrik Haase wrote:<br>
>> Hey all,<br>
>><br>
>> During a small routine check I noticed that we have a broken disk on<br>
>> vostok. In fact, according to the log, we've had it for 7 months at<br>
>> least which is a bit embarrassing given that this is RAID1 only and it's<br>
>> also our primary backup box. This really goes to show that we need<br>
>> better monitoring/more meaningful alerts.<br>
>><br>
>> Anyway, I had Hetzner replace the disk and the array is now rebuilding.<br>
>><br>
>> Cheers,<br>
>> Sven<br>
>><br>
> <br>
> The array is now resynced and appears to be happy. Yay!<br>
<br>
Thanks for handling and finding the issue sven! However how can our<br>
monitoring not catch this? Especially for gemini it would be nice to<br>
know :-)<br>
<br>
Greetings,<br>
<br>
Jelle van der Waa<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Yeah, well I dunno. That's gonna get really embarrassing if we don't notice for too long at some point.</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
</blockquote></div></div></div>