La palabra fue introducida por los romanos, quienes dividieron su Imperio romano en provincias, en singular, provincia, que en latín «provincia» se forma a partir de las voces pro («por») y vincia («victoria»): En un principio, designaba a los territorios conquistados fuera de la península itálica.
En los países de lengua romance, como España, Italia y Francia, la palabra provincia se aplicó a unidades administrativas importantes solo inferiores a los reinos. En el Imperio español, correspondía a divisiones territoriales, que también solían llamarse corregimientos, por ser jurisdicciones de un corregidor. Luego de las reformas borbónicas, provincia correspondía a divisiones territoriales regidas por un gobernador-intendente, que también solían llamarse intendencias, por ser jurisdicción del gobernador-intendente.
Tras la Revolución francesa el término provincia cayó en desuso dentro de Francia. En muchos países iberoamericanos (i.e.: México, Brasil, Colombia, Venezuela) se llamó a mediados del siglo XIX provincias a las unidades administrativas constituyentes de tales países hasta que, a fines del citado siglo XIX y por influjo de los Estados Unidos, las provincias pasaron a ser llamadas estados dentro de un régimen federal. Por ejemplo, el término provincia, como lo es en el empleo de la frase «provincia mexicana», incluye el significado de territorio dentro del país a excepción del de su capital, pero el término y su empleo se han vuelto desfavorecidos.
En los Países Bajos y Bélgica se mantiene la denominación de provincias para las unidades administrativas principales de tales estados. En Bulgaria la palabra óblast suele ser sinónimo de provincia.
En Argentina se mantiene la denominación provincia para significar a todo estado federado constituyente de la República Argentina. En Canadá, uno de los Estados más descentralizados del mundo, se sigue empleando la denominación «provincia», tanto en inglés como en francés. En Chile se ha llamado y se llama provincia a una unidad administrativa que hasta la década de 1970 era directamente subordinada al estado central, desde los '70 gran parte de las provincias chilenas (en especial las centrales, dadas sus pequeñas dimensiones territoriales) fueron reunidas en regiones.
En Bolivia se denomina «provincia» a una unidad administrativa de tercer orden dentro de un departamento invirtiendo así la categorización preexistente (mantenida en Argentina), esto es: hasta el presente en Bolivia las «provincias» suelen ser equiparables a los departamentos argentinos mientras que lo que en Bolivia el llamado «departamento» (inversamente a lo común en los otros estados) es una unidad administrativa superior a la de la provincia boliviana, teniendo un «departamento» boliviano más semejanzas con la categoría de provincia argentina o estado mexicano o brasileño, pero manteniendo los departamentos bolivianos (y por ello las «provincias» en estos incluidas) una subordinación al gobierno centralista.
Por extensión, aunque no se use el nombre de provincia, son traducidas con la categoría de «provincia» las principales divisiones geograficopolíticas de países por lo general extensos, un ejemplo de ello: las vilayas o vilayatos de países con preponderancia de cultura musulmana suelen recibir en castellano el nombre de provincias.