Erster Verdacht war auch sofort die Grafikkarte. Besitzt der Rechner eine Onboard Grafikkarte oder ähnliches? Bei manchen Mainboards gibt es sie nämlich nicht, dann passiert ohne Grafikkarte auch nichts.
Mein Mainboard gibt allerdings ein kreischendes Alarmgeräusch von sich, wenn die Grafikkarte nicht korrekt funktioniert.

Besitzt das Mainboard eine Signaltafel, die vielleicht einen bestimmten Fehler anzeigt?
Ansonsten wohl wirklich mal ausbauen und in einem anderen Rechner testen.

Netzteil ist eher unwahrscheinlich, da dann das Mainboard gar nicht anspringt. Außer die 8 pin Versorgungsleitung der Grafikkarte ist kaputt, allerdings müsste es dann auch eine Warnung geben.