Den 2. december 1906 indbød Harald Ludvigsen, Alnor, købmand Chr, Jensen, urmager Hollesen og bogholder Clausen til et møde for at drøfte muligheden for at danne en idrætsforening. Efter et foredrag om gymnastik og idræt af bogtrykkeri ejer Hans Petersen enedes de fremmødte om at stifte "Idrætsforeningen for Gråsten og Omegn". Foreningens formål var "at fremme al sund idræt og ved siden af udvikle selskabeligheden blandt foreningens medlemmer".

Foreningen tog straks fat på gymnastik, dilettant og foredragsaftener om vinteren og cykleudflugter om sommeren. Senere indførte man også julefester for forældre og børn, hvor salen på hotellet var fyldt til bristepunktet. Foreningens arrangementer havde generelt en meget stor tilslutning og levede fuldt ud op til sit formål.

Det havde været en bragende start for foreningen, måske for voldsom mente nogle, for allerede i 1925 var foreningens bestående på dagsordenen ved generalforsamlingen. Man blev enige om at fortsætte, men medlemstallet dalede stadig - der var kommet mange andre foreninger til Gråsten og i 1935 måtte man kapitulere Gråstens ældste forening ophørte.

I 1948 dukkede igen nye kræfter op - en kreds af unge iderige idrætsfolk havde i nogen tid talt sammen om, at starte en idrætsforening i Gråsten. Formålet med foreningen skulle være "at samle og organisere dele af idrætten - specielt gymnastik, atletik, håndbold og folkedans".

Idrætsforeningen blev en realitet - der blev nedsat en bestyrelse, og eneste facilitet man rådede over, var en knoldet boldbane oppe ved Stjerneskoven, der hvor Stjernevej nu ligger. For at få skrabet penge sammen til foreningen (for at forbedre faciliteterne) blev der arrangeret "gåsespil", men dette gav dog kun et spinkelt overskud, og man måtte endnu engang gå i tænkeboks. Nu fik den daværende kasserer Henrik Nielsen den ide, at lave lotteri. Det blev en succes og endelig kom der rigtig gang i foreningen.

Efter nogen tid overtog Håndboldklubben "Egene" al håndbold og "Gråsten Kontraen" tog sig af folkedansen.

I 1998 rundede Gråsten Idræts- og Gymnastikforening et skarpt hjørne. Den 21. februar blev der holdt et festligt 50-års jubilæum, hvor rigtig mange udøvere og tilskuere deltog.

Foreningen tilbyder gymnastik og stavgang om vinteren og atletik og stavgang om sommeren.

Medlemstallet har gennem de senere år stabiliseret sig til omkring 550 medlemmer tilknyttet foreningen.