Gitaar.net

 
Wachtwoord kwijt?    Nog geen lid?
Forum: Mededelingen
Alle bestanden voor deze discussie
Bestandsnaam Bestandsgrootte   Gepost door Datum  
Untitled.png 26.7 KB open | download Anonieme bezoeker 22/12/2010 Bericht lezen
mededelingPerformance verbeterd!
Gepost door: Maurice Makaay
Datum: 21/12/2010 22:56

Gitaar.net had al een hele tijd last van vervelende vertragingen. Soms duurden database queries een paar seconden voordat er antwoord kwam, bestanden konden niet altijd snel worden geopend. Ik kon nooit achterhalen waardoor deze vertragingen veroorzaakt werden, maar ik heb het probleem nu plat kunnen slaan. De site zou nu een stuk flitsender moeten werken!!

Voor de Linux-ge´nteresseerden:
(voor non-geek gitaristen: STOP MET LEZEN, DIT KAN PIJN DOEN!! knipoog)

Gisteren heb ik het systeem een upgrade gegeven en daarbij ook de kernel bijgewerkt naar versie 2.6.36. In deze kernel heb ik de nieuwe (experimenal) optie "Enable per-task storage I/O accounting" geactiveerd. Dat maakt het mogelijk om het programma "iotop" te gebruiken. Echt een aanrader als je I/O problemen hebt! Het programma vormt de missende schakel tussen "top" (CPU en memory usage van draaiende processen) en programma's als "vmstat" en "iostat" (I/O operaties). Met iotop kun je zien welke processen precies I/O veroorzaken.

Ik wist al dat het probleem met I/O te maken had. Ik zag altijd dirty pages (veld "Dirty" in /proc/meminfo) in een burst oplopen, waarna het wegschrijven van de dirty data (veld "Writeback" in diezelfde file) alle verdere I/O blokkeerde. Ik kon echter met "top" nooit een proces zien dat deze I/O activiteit veroorzaakte. Ik kon de symptomen dus nooit koppelen aan een oorzaak.

Tot nu! Met iotop zag ik vlak voor het ontstaan van de dirty data writeback bursts een grote activiteit op het proces "[kjournald]". Blijkbaar gebeurde er iets op het systeem dat updates triggerde in de journalisering van het ext3 fs. Eureka! Eerder zag ik dit over het hoofd, omdat ik alleen kon kijken naar de normale data op de disk. Het probleem speelde zich echter op het onzichtbare niveau van het fs journal af.

Het uiteindelijke probleem was een periodieke automatische update van de Phorum codeboom vanuit het Subversion repository van Phorum. Ik weet nog niet waarom, maar svn triggert voor alle bestanden (ook als er niks wordt bijgewerkt) een meta-data update in het journal. Omdat het aantal bestanden dat bekeken wordt erg groot is, had een dergelijke update een enorme I/O burst tot gevolg. Ik heb de updates uitgeschakeld, waarna de I/O bursts niet meer voorbij zijn gekomen.

Nou... misschien dat dit ook interessante info was voor anderen.
Zoals gezegd: "iotop" is een aanrader!

iotop verliefd

--
Maurice Makaay
Gitaar.net webmaster, Phorum hacker, gitarist
mededelingRe: Performance verbeterd!
Gepost door: Anonieme bezoeker
Datum: 21/12/2010 23:03

Klinkt heel logisch als je 't zo zegt. knipoog
Maar toch bedankt!.........denk ik.
mededelingRe: Performance verbeterd!
Gepost door: Anonieme bezoeker
Datum: 21/12/2010 23:05

Cool! Mooi man!

Ik snap er idd niet veel van, maar ten tijde van windows vista werkte ook alles trager door automatische windows updates.. misschien niet helemaal de goede vergelijken.. maar toch.
mededelingRe: Performance verbeterd!
Gepost door: Maurice Makaay
Datum: 21/12/2010 23:23

De vergelijking gaat inderdaad een beetje mank,
al is het maar omdat ik een Linux systeem wel kan fixen knipoog

--
Maurice Makaay
Gitaar.net webmaster, Phorum hacker, gitarist
Selmer top + Mesa cab bij Woods on Fire mededelingRe: Performance verbeterd!
Gepost door: Vincent van Haperen
Datum: 22/12/2010 08:58

Thanks Maurice, ik begrijp helemaal niks van je uitleg, maar ik vind het leuk dat je het zo enthousiast vertelt en ik ben ook bij dat de vertragingen nu waarschijnlijk verleden tijd zijn. Goed bezig!
mededelingRe: Performance verbeterd!
Gepost door: Anonieme bezoeker
Datum: 22/12/2010 09:06

Nou, maurice, dat had ik je zo ook wel kunnen vertellen. knipoog
mededelingRe: Performance verbeterd!
Gepost door: Anonieme bezoeker
Datum: 22/12/2010 09:17

Quote:
"Vincent van Haperen"

Thanks Maurice, ik begrijp helemaal niks van je uitleg, maar ik vind het leuk dat je het zo enthousiast vertelt en ik ben ook bij dat de vertragingen nu waarschijnlijk verleden tijd zijn. Goed bezig!

Zo is dat! duim omhoog
mededelingRe: Performance verbeterd!
Gepost door: Anonieme bezoeker
Datum: 22/12/2010 11:11

duim omhoog dat zei ik toch...
mededelingRe: Performance verbeterd!
Gepost door: Maurice Makaay
Datum: 22/12/2010 12:05

Ja, bedankt oNNo! tong uit de mond grijns
Werkt het nu ook allemaal weer goed voor jou?

--
Maurice Makaay
Gitaar.net webmaster, Phorum hacker, gitarist
mededelingRe: Performance verbeterd!bijlage
Gepost door: Anonieme bezoeker
Datum: 22/12/2010 12:06

Stukken beter ja! zie plaatje. Bij een reply om ong. 12.04. Heb je een log?


Bij teruggaan en opnieuw proberen liep het gesmeerd, trouwens.
mededelingRe: Performance verbeterd!
Gepost door: Maurice Makaay
Datum: 22/12/2010 12:13

Sorry, dat kwam doordat ik de database server een herstart gaf. Ik heb nog wat extra geheugen toegewezen aan de database voor nog wat verdere optimalisatie. Precies 4 requests zijn door die actie mislukt. Jij had er eentje van te pakken knipoog

--
Maurice Makaay
Gitaar.net webmaster, Phorum hacker, gitarist
mededelingRe: Performance verbeterd!
Gepost door: Anonieme bezoeker
Datum: 22/12/2010 13:37

Quote:
"Maurice Makaay"
Ja, bedankt oNNo! tong uit de mond grijns
Werkt het nu ook allemaal weer goed voor jou?
graag gedaan! ja het werkt weer...
en jij ook bedankt natuurlijk duim omhoog



1 keer gewijzigd. Laatste wijziging: 22/12/2010 13:38 door oNNo.
top

Bericht
Sorry, alleen geregistreerde gebruikers mogen berichten plaatsen in dit forum.

Klik hier om in te loggen