A história de Erval Seco tem os seus primeiros registros no longínquo ano de 1750, no Passo Goi-Em, conhecido como Caminho do Atanagildo ou Estrada dos Caingangues. De um lado, os jesuítas querendo cristianizar os índios, de outro os invasores e saqueadores provocando genocídio dos índios e o roubo das riquezas naturais. Erval Seco era então “fundo de sertão” povoado por indígenas no meio de uma flora e fauna exuberantes.
Em meados do ano de 1900, o alemão Hermann Meyer iniciou a colonização de 3.500 hectares de terra situados na costa do Rio Ogarantin, hoje Fortaleza. O local, conhecido por Passo do Aterrado Grande, passou a se chamar Erval Seco após um grande incêndio ter queimado os campos e secado os ervais. Houve tentativas de alterar o nome Erval Seco para Ervalópolis e Capitão Balbino, porém a Câmara e a comunidade não aceitaram a mudança.
A vila de Erval Seco foi planejada pela empresa Hermann Mayer no vale do Arroio Lambedor, assim denominado porque as antas vinham lamber a água na beirada. O arroio tinha uma pinguela e era ladeado por muita unha-de-gato e taquaruçu; ali os viajantes podiam beber água fresca da fonte e repousar à sombra. No planejamento da vila, foram reservados lotes para praças, escolas e templos, o que contribuiu para o seu rápido crescimento.
Segundo seus primeiros moradores, a principal atividade do local era a produção da erva-mate, que era moída em monjolos, acondicionada em “surrões” (uma espécie de caixa feita de couro de gado), transportada em carretas de bois com quatro ou cinco juntas e vendida na cidade de Santa Maria. Também se criava algum gado, que era vendido para fazendeiros próximo a Palmeira das Missões.
Há o aproveitamento do potencial das cachoeiras e cascatas na geração de energia elétrica rendeu à cidade o cognome “Terra das Cascatas”.

Distrito criado com a denominação de Erval Seco pelo Ato Municipal nº 165, de 06/08/1918, subordinado ao município de Palmeira.
Pelo Decreto-Lei Estadual nº 720, de 29/12/1944, o município de Palmeira passa a chamar-se Palmeira das Missões.
Pela Lei Estadual nº 3.696, de 30/01/1959, o distrito de Erval Seco é transferido de Palmeira das Missões para o novo município Seberi.
Desmembrado de Seberi, Palmeira das Missões e Tenente Portela, Erval Seco é elevado à categoria de município pela Lei Estadual nº 4.673, de 20/12/1963. O município é instalado em 12/04/1964, constituído do distrito-sede.
Pela Lei Municipal nº 4, de 18/06/1964, é criado o distrito de Coronel Finzito e anexado ao município de Erval Seco.
Pela Lei Municipal nº 11, de 18/06/1964, é criado o distrito de Arco Íris e anexado ao município de Erval Seco.
Pela Lei Municipal nº 290, de 30/08/1974, é criado o distrito de Dois Irmãos e anexado ao município de Erval Seco.
Pela Lei Municipal nº 291, de 16/09/1974, é criado o distrito de São Bom Jesus e anexado ao município de Erval Seco.
Pela Lei nº 795, de 20/09/1990, é criado o distrito de Capivara e anexado ao município de Erval Seco.
Pela Lei nº 839, de 10/05/1991, é criado o distrito de Fortaleza e anexado ao município de Erval Seco.
Pela Lei nº 796, de 20/09/1996, é criado o distrito de Vista Gaúcha e anexado ao município de Erval Seco.
Pela Lei Estadual nº 9.619, de 20/03/1992, o distrito de Dois Irmãos é desmembrado de Erval Seco e elevado à categoria de município, com a denominação de Dois Irmãos das Missões.
Em divisão territorial datada de 1995, o município é constituído de sete distritos: Erval Seco, Arco Íris, Capivara, Coronel Finzito, Fortaleza, São Bom Jesus e Vista Gaúcha.
Assim permanece em divisão territorial datada de 2020.