Situé à 427 mètres d'altitude dans le département du Tarn et de la région de l'Occitanie, Saint-André s'étend sur 7,27 km², proche du parc naturel régional de Haut-Languedoc.

La rivière le Tarn, et les ruisseaux de Malagousse et du Gazet sont les principaux cours d'eau qui le traversent.

Le territoire est entouré par les communes d'Ambialet, de Trébas, Curvalle, Alban et du Fraysse.