No início do século XX, a Companhia de Colonização Bauerverein, que tinha por objetivo abrir novas fronteiras agrícolas no estado para o assentamento de colonos descendentes de imigrantes alemães, decidiu vender lotes de terras na região noroeste do Rio Grande do Sul. Assim, sob o comando do padre jesuíta Maximiliano Von Lassberg, lá chegaram as primeiras famílias de colonos oriundas da região de Montenegro. A colonização, oficialmente iniciada no dia 4 de outubro de 1902, tinha como alvo as terras férteis e cobertas por mata virgem entre os rios Ijuí e Comandaí: a colônia Serro Azul daria origem ao atual município de Cerro Largo.
Antes de irem morar nos lotes adquiridos, os colonos foram abrigados em um barracão. Seu progresso, porém, foi rápido. Já no ano de 1915, Serro Azul foi elevada à categoria de vila, então sede do 4º distrito do município de São Luiz Gonzaga. Em 1944, sua denominação é alterada para Cerro Largo.

Distrito criado com a denominação de Serro Azul pelo Ato Municipal nº 65, em 1915, subordinado ao município de São Luiz Gonzaga.
Pelo Decreto Estadual nº 7.199, de 31/03/1938, o distrito de Serro Azul tem sua grafia alterada para Cêrro Azul e permanece no município de São Luiz Gonzaga.
Pelo Decreto-Lei Estadual nº 720, de 29/12/1944, o distrito de Cêrro Azul passa a de-nominar-se Cêrro Largo.
Desmembrado de São Luiz Gonzaga, Cerro Largo é elevado à categoria de município pela Lei Estadual nº 2.519, de 15/12/1954. O município é instalado em 28/02/1955, constituí-do de três distritos: Cerro Largo, Porto Xavier e Roque Gonzáles, todos desmembrados de São Luiz Gonzaga.
Pela Lei Municipal nº 141, de 12/11/1958, é criado o distrito de São Paulo das Missões (ex-povoado) e anexado ao município de Cerro Largo.
Pela Lei Municipal nº 337, de 16/10/1963, é criado o distrito de Salvador das Missões e anexado ao município de Cerro Largo.
Pela Lei Municipal nº 338, de 16/10/1963, é criado o distrito de Pinheiro Machado e anexado ao município de Cerro Largo.
Pela Lei Estadual nº 5.214, de 06/01/1965, o distrito de Porto Xavier é desmembrado de Cerro Largo e elevado à categoria de município.
Pela Lei Estadual nº 5.134, de 07/12/1965, o distrito de Roque Gonzales é desmembra-do de Cerro Largo e elevado à categoria de município.
Pela Lei Estadual nº 5.205, de 30/12/1965, os distritos de São Paulo das Missões e Pinheiro Machado são desmembrados de Cerro Largo para constituir o novo município de São Paulo das Missões.
Pela Lei Municipal nº 336, de 16/10/1966, é criado o distrito de São Pedro do Butiá e anexado ao município de Cerro Largo.
Pela Lei Municipal nº 1.082, de 25/07/1988, é criado o distrito de Santa Catarina (ex-povoado), com terras desmembradas dos distritos de Salvador das Missões e São Pedro do Butiá, e anexado ao município de Cerro Largo.
Pela Lei Municipal nº 1.083, de 25/07/1988, é criado o distrito de São Francisco e anexado ao município de Cerro Largo.
Pela Lei Municipal nº 1.090, de 16/08/1988, é criado o distrito de Santo Antônio e anexado ao município de Cerro Largo.
Pela Lei Estadual nº 9.549, de 20/03/1992, o distrito de Salvador das Missões é desmembrado de Cerro Largo e elevado à categoria de município.
Pela Lei Estadual nº 9.553, de 20/03/1992, o distrito de São Pedro do Butiá é desmembrado de Cerro Largo e elevado à categoria de município.
Em divisão territorial datada de 2001, o município é constituído de três distritos: Cerro Largo, Santo Antônio e São Francisco.
Assim permanece em divisão territorial datada de 2020.