Le Sporting club albigeois est créé en décembre 1906 comme club omnisports. On y pratique alors le rugby, mais aussi le tennis et l’athlétisme.
Le premier titre arrive vingt ans plus tard, le 28 novembre 1926, une victoire en finale du championnat des Pyrénées, le sommet du rugby régional, contre le Stade toulousain. C'est dans ces années-là aussi que fût inauguré le stade Maurice Rigaud.
En 1940, le régime de Vichy contraint les clubs des villes de moins de 50 000 habitants à fusionner. En outre, son attaque systématique contre le rugby à XIII oblige les dirigeants albigeois du S.C.A quinziste et du R.Cune entité unique, dénommée Albi Olympique. Sous cette appellation, le club remporte deux Challenges français en 1942 et 1943, sous la bienveillance de Jo Maraval.
En 1945, le S.C.A est classé 134ème club français. Le club reprend son ancien nom cette même année, pendant que les treizistes reprennent leur chemin. En 1949, le SCA accède à la division nationale (première division) et dispute même un huitième de finale en 1955, perdu contre l'US Romans, après avoir sorti le grand Racing club de France en seizième.
La remontée sera lente mais aboutira à un deuxième "âge d'or"… La vie du club est d’abord rythmée par les incessants va-et-vient entre la première et la deuxième division : D2 entre 1957 et 1959, D1 entre 1961 et 1970, D2 entre 1970 et remontée en 1973. En 1974, le SCA bat le Stade toulousain en seizième de finale de première division avant de s'incliner contre le CA Brive en huitièmes. La descente l’année d’après est suivie d’une nouvelle promotion en 1977, puis d'une autre en 1980. Puis, pendant cinq saisons, le SCA évoluera au plus haut niveau, avant de retomber en Groupe B en 1985. Le club se maintient dans le Groupe B puis dans l'élite amateur au gré des modifications apportées aux championnats.
Les années 2000 s'ouvrent sur un renouveau. Le SCA dispute trois finales consécutives de Nationale 1/Fédérale 1 en 2000, 2001 et 2002, toutes perdues contre Oloron Sainte-Marie, Tour et le Lyon Olympique Universitaire. Néanmoins, malgré la dernière défaite en 2002, le SCA accède à la Pro D2. Le club n'a donc cessé de progresser : 30ème club français en 2003, 27ème en 2004, 24ème en 2005, 16ème en 2006, 9ème en 2007…
Enfin, grâce à deux dernières victoires dans les play-offs de Pro D2 contre l'AS Béziers et l'US Dax en 2006, Albi réintègre l’élite du rugby français pour la saison 2006-07 et 2007-08. Mais, alors que le maintien en Top 14 pour la saison 2008-09 semblait acquis, la DNACG prononce la rétrogradation administrative du SC Albi en Pro D2.
