Название "гимнасий" происходит от греческого слова gymnos, что значит "голый, обнаженный". Гимнасием в Древней Греции называли здание, предназначенное для занятий физическими упражнениями или гимнастикой. В гимнасиях, завершив курс обучения в палестрах, тренировались знатные юноши 16—18 лет, готовящиеся к состязаниям и совершенствующиеся в науках. Самым просторным залом в гимнасий был эфебион — помещение, в котором атлеты занимались борьбой, проводили кулачные бои. При эфебионе находились комнаты, где натирались песком и умащивали тело маслом. На спортивных площадках и стадионах при гимнасиях играли в мяч, состязались в беге и прыжках. Чтобы после длительных упражнений и тренировок люди могли смыть с тела пыль, пот и масло, тут же располагались бани с горячей и холодной водой, с парными и бассейнами. Были при гимнасиях и комнаты, где после физических нагрузок и омовений спортсмены могли отдохнуть на удобных лавках. Там же юноши занимались с учителями риторики, выступали ораторы, философы. При некоторых гимнасиях были организованы риторские и философские школы, прославившиеся своими выдающимися учителями. Так, в Афинах в IV в. до н.э. философ Платон основал знаменитую Академию. Ее ученики собирались в гимнасии, построенном в месте, носящем имя героя Акадёма. А неподалеку от Афин находился Ликей (совр. Лицей), где преподавал Аристотель, там тоже был гимнасии.

Со временем помещения для гимнасиев становились все более обширными, к ним прибавлялись крытые колоннады и стадионы, где можно было упражняться зимой. Комнаты для отдыха — экседры — украшались произведениями искусства, в залах с бассейнами появились мозаичные полы и мраморные статуи. Повсюду в гимнасиях стояли изображения бога Гермеса, покровителя ловких и сильных гимнастов.

Римляне после завоевания Греции стали называть гимнасиями свои школы. Спортивных же сооружений подобного рода римляне не знали. Гимнастикой и спортивными упражнениями они занимались первоначально на Марсовом поле или на Форуме. Со временем гимнастические площадки стали строить при термах (так назывались римские бани), которые по своему внутреннему устройству напоминали греческие гимнасии. В термах не только мылись, но и отдыхали, развлекались, вели ученые беседы, встречались с известными людьми, слушали речи и выступления знаменитых философов. Там располагались буфеты, лавочки с товарами и даже библиотеки. Термы посещались римлянами почти ежедневно и служили местом деловых и дружеских встреч.

Название же гимнасии, некоторое время сохранявшееся для римских школ, вновь приобрело прежнее значение уже в средние века, когда открытые в Европе (в Италии и Франции) университеты стали именовать Гимназиями или Академиями.

Позже академическими гимназиями было принято называть латинские школы. В XVI—XVII веках такие школы повсеместно распространились в Германии, в начале XIX в. название Гимназия присваивалось только тем из них, которые давали ученикам право на поступление в Университет. В России в XVIII в. для детей дворян были открыты три академические гимназии, позже их стало больше, появились прогимназии и женские гимназии. К началу XX века в России уже было около 500 гимназий, ученики, окончившие их, принимались в Университет без экзаменов, по конкурсу аттестатов.