Godt nok noget tid siden, men fandt problemet. Det er ikke cachen men windows måde at gemme .docx, .xlsx dokumenter på (generelt alle filer typer der bliver skrevet i .NET hvis jeg forstod ret). Alle .NET filer er nemlig bygget i XML og hvis du prøver at downloade en fil igennem en browser opfatter windows (eller et eller andet lame) filen som en .zip fil da filen består af flere XML filer m.m.
Det er lort, så zippede bare min fil i stedet med PHP's zip funktion og nu kan jeg downloade en rar zip fil indeholdende min holdliste.xlsx