Os primeiros habitantes da área onde hoje se encontra o município de Carlos Gomes vieram da Polônia e das colônias de São Marcos, Bento Gonçalves, Veranópolis, Garibaldi e Alfredo Chaves. Procuravam na época melhores condições de vida e novas terras, onde se dedicaram ao desbravamento das matas e ao cultivo do solo. A colonização iniciou em 1907, quando a localidade pertencia ao município de Passo Fundo. Sucederam-se as seguintes denominações: Sede dos Polacos, Ribeirão Torto, Rio do Peixe, Nova Polônia e Carlos Gomes. O último nome adotado pela comunidade deve-se a uma banda local que executava as composições do músico Carlos Gomes.

Em divisões territoriais datadas de 31/12/1836 e 31/12/1937, figura no município de Erechim o distrito de Nova Polônia.
Pelo Decreto Estadual nº 7.199, de 31/03/1938, o distrito de Nova Polônia toma a denominação de Ribeirão Torto e o município de Erechim a de José Bonifácio.
Pelo Decreto Estadual nº 7.842, de 30/06/1939, baixado em virtude de autorização contida no Decreto-Lei Federal nº 1.307, de 31/05/1939, o distrito de Ribeirão Torto toma a denominação de Carlos Gomes.
Pelo Decreto-Lei Estadual nº 720, de 29/12/1944, o município de José Bonifácio volta a denominar-se Erechim.
Pela Lei Estadual nº 2.530, de 15/12/1954, o distrito de Carlos Gomes é desmembrado de Erechim para constituir o novo município de Gaurama.
Pela Lei Estadual nº 3.728, de 18/02/1959, o distrito de Carlos Gomes é desmembrado de Gaurama para constituir o novo município de Viadutos.
Desmembrado de Viadutos, Carlos Gomes é elevado à categoria de município pela Lei Estadual nº 9.540, de 20/03/1992. O município é instalado em 1º/01/1993, constituído do distrito-sede.
Assim permanece em divisão territorial datada de 2020.