Jeg ville nok starte med Java (måske C# vis du er på windows).
Det eneste du behøver for at programmere Java er JDK'et som kan downloades gratis. Jeg tror det er en god ide at skrive nogle få programmer med så få hjælpe midler som muligt(kun JDK'et og en teksteditor(måske med syntax highlihtinng)) sådan man finder ud af hvordan det fungere. Så kan man hurtigt begynde at bruge et IDE(et program der hjælper en med at kode). Der findes en masse gratis Java IDE'er. Min favorit er eclipse, af andre kan nævnes netbeans.
Som en anden måde at gå på kan du også prøve at se på C++, det har måske en sværere læringskurve end C# og Java, men det har da også sine fordele.
Det er dog mest til spil, til programmer vil jeg foreslå enten C# (Hvis du kun vil kode til Windows) eller Java hvis du vil prøve flere platforme (Inklusiv mobiltelefoner)