Det er egentlig meget enkelt, du skal bare tilføje - border="0"
til dit image-tag.
Altså:
- <img id="PHMainContent_PHContent_lblProfileImg" title="Klik for at komme til mit CV!" src="Resources/IMG/Face_small.JPG" align="middle" border="0"/>
Håber det hjælper, plejer at virke for mig 
Tak for svar, men det er ikke helt muligt da det bliver lavet via et asp-image så det er først runtime det laves til et image-tag.
border attributten på img tagget er deprecated, så CSS alternativet er bedre at bruge. Jeg plejer at bruge følgende CSS i mine stylesheets, da jeg stort set aldrig vil have border på mine billeder, og hvis jeg vil, så er det en undtagelse som jeg klarer med en separat class eller i taggets style attribut:
- img {
- border: 0;
- }
Laurits, når jeg kigger på din side, både i IE og FF, så er der kun border rundt om selve boksen, altså dit div tag og den har du selv sat i din .ProfileRightImage class. Fjernes den, fremstår både billede og boks uden border. Kan vi antage at problemet er løst eller hvordan? 
Jeg så på den igår i min IE hvor den havde det problem, nu ser jeg den idag på en anden maskine og der er problemet der ikke - heller ikke når jeg har klikket på billedet og kommer igen

Så nu ser det ud som om det virker, men vil vente med at endeligt afgøre det til jeg kommer hjem til min maskine hvor problemet var igår.
IE er sku sjov at det er altid den jeg har problemer med at ting der BØR virke skal lige ha lov og stå og simre i 30min før det virker