Ja, du kan godt skrive al din kode i notepad eller et lignende tekstbehandlingsprogram, og derefter kompilere det. Det er dog meget omstændigt, og selvom nogle kan lide det lidt old-school, så er det nok en god idé at sigte efter en lidt mere avanceret IDE, som f.eks. NetBeans.
Jeg har lidt erfaring med NetBeans som miljø i forbindelse med J2ME-udvikling, og det har fungere upåklageligt. Ud over NetBeans er det også Eclipse (www.eclipse.org) som er en modulær udviklingsplatform, der egner sig rigtig godt til java.
For at udvikle til javaplatformen er det ikke nok blot af have java runtime installeret (det du henter for at køre programmerne). Du skal have fat i en Java SDK. Hvis du henter Sun's JDK fra deres hjemmeside skulle du være godt kørende (
http://java.sun.com/javase/downloads/index.jsp).