O povoado foi iniciado no ano de 1803, por Manuel Jerônimo, provavelmente Manuel Jerônimo de Sousa, avô do Barão de Mauá. Em 1812, o terreno sobre o qual foi edificado, até então dedicado à criação de gado, foi doado espontaneamente à Nossa Senhora da Graça, por Manuel de Sousa Gusmão e sua esposa, Maria Pereira das Neves.
Diz a tradição que, algum tempo antes da fundação do povoado, deu-se certa divergência quanto ao lugar em que, definitivamente, deveria ser instalada a povoação. Opinavam alguns que fosse à margem direita do Arroio Grande, outros à margem esquerda, no lugar em que hoje se situa a cidade. A contenda foi vencida pelos parti­dários da margem esquerda, que assim procederam: à distância de mais ou menos 7 quilôme­tros, mandaram construir um rancho, com paredes de pau-a-pique, que foi cuidadosamente co­locado sobre quatro rodas, à noite, e puxado por bois até o local em que mais tarde deveria ser construída a igreja matriz. Os habitantes da margem direita, que já haviam começado as obras de uma igreja de material, templo que não foi terminado e do qual ainda existem as ruínas, fo­ram surpreendidos, ao amanhecer, pelo alegre repicar dos sinos, anunciando que, na margem esquerda, um padre, de antemão prevenido, dizia a primeira missa, no curato de Nossa Senho­ra da Graça de Arroio Grande. A capela de Nossa Senhora da Graça de Arroio Grande foi constituída por provisão de 14 de dezembro de 1815 e confirmada por D. João VI a 15 de abril de 1821.
Durante a Revolução Farroupilha, o território de Arroio Grande foi palco de grandes lutas, nas quais tomaram parte, entre outros, João da Silva Tavares, que derrotou pelas forças imperiais o farrapo Manuel Antunes de Porciúncula e que, mais tarde, foi vencido por David Canabarro, famoso chefe farroupilha.

Distrito criado com a denominação de Arroio Grande por Resolução Régia de 31/01/1812 e pela Lei Provincial nº 54, de 26/05/1846, subordinado ao município de Jaguarão.
Desmembrado do município de Jaguarão, Arroio Grande é elevado à categoria de vila pela Lei Provincial nº 843, de 24/03/1873. A vila é instalada em 22/12/1873, constituída do distrito-sede.
Pela Lei Provincial nº 586, de 07/12/1866, e pelo Ato Municipal nº 9, de 23/12/1899, são criados os distritos de Santa Isabel dos Canudos e Estação Piratini e anexados ao municí­pio de Arroio Grande.
Elevado à condição de cidade pelo Ato nº 590, de 05/12/1890.
Em divisão administrativa referente ao ano de 1911, o município é constituído de três distritos: Arroio Grande, Santa Isabel dos Canudos e Estação Piratini.
Pelo Ato Municipal nº 8, de 25/04/1913, é criado o distrito de Costa do Arroio Grande e anexado ao município de Arroio Grande.
No quadro do Recenseamento Geral de 1920, o município aparece constituído de cin­co distritos: Arroio Grande, Estação Piratini, Bretanhas, Costa do Arroio Grande e Santa Isabel dos Canudos.
Em divisão administrativa referente ao ano de 1933, o município aparece constituído de quatro distritos: Arroio Grande, Estação Piratini, Costa do Arroio Grande e Santa Isabel dos Canudos. Não figura o distrito de Bretanhas.
Em divisões territoriais datadas de 31/12/1936 e 1937, o município aparece constituído de cinco distritos: Arroio Grande, Chasqueiro, Costa do Arroio Grande, Paraíso e Santa Isabel dos Canudos.
Pelo Decreto-Lei Estadual nº 7.199, de 31/03/1938, os distritos de Santa Isabel dos Canudos e Paraíso passam a denominar-se, respectivamente, Santa Isabel e Olimpo. Pelo mes­mo Decreto-Lei, os distritos de Costa do Arroio Grande e Chasqueiro perdem a condição de distritos.
No quadro fixado para vigorar no período de 1939 a 1943, o município é constituído de três distritos: Arroio Grande, Olimpo (ex-Paraíso) e Santa Isabel (ex-Santa Isabel dos Canu­dos).
Por efeito do Decreto-Lei Estadual nº 720, de 29/12/1944, o distrito de Santa Isabel toma a denominação de Açoriano.
Em divisão territorial datada de 1º/07/1950, o município é constituído de três distritos: Arroio Grande, Açoriano e Olimpo.
Pela Lei nº 125, de 14/11/1952, o distrito de Açoriano toma a denominação de Santa Izabel do Sul.
Em divisão territorial datada de 1º/07/1955, o município é constituído de três distritos: Arroio Grande, Santa Izabel do Sul (ex-Açoriano) e Olimpo.
Pela Lei Estadual nº 3.735, de 31/04/1959, o distrito de Olimpo é transferido de Arroio Grande para o novo município de Pedro Osório.
Em divisão territorial datada de 1º/07/1960, o município é constituído de dois distritos: Arroio Grande e Santa Izabel do Sul.
Pela Lei Estadual nº 441, de 25/07/1961, são criados os distritos de Mauá e Pedreiras e anexados ao município de Arroio Grande.
Em divisão territorial datada de 31/12/1963, o município é constituído de quatro distri­tos: Arroio Grande, Mauá, Pedreiras e Santa Izabel do Sul.
Assim permanece em divisão territorial datada de 2020.