Entre 1835 e 1838 se estabeleceram na localidade de Morro dos Bugres os primeiros moradores, descendentes de alemães, oriundos das Colônias Velhas e outros de levas recentes, eram naturais da região do Hunsrück na Alemanha.
O primeiro morador de Morro dos Bugres tinha o sobrenome Buchermann de onde originou-se o nome da localidade.
Por volta de 1844 chegaram os primeiros colonos a linha Herval onde hoje situa-se a sede do município, que apresentava um solo mais propício para o cultivo. Daí originou-se o novo Município de Santa Maria do Herval.
O nome Santa Maria do Herval é uma homenagem a Santa Maria, padroeira da primeira Igreja construída na localidade. Também compõe a sua denominação a palavra Herval que ressalta uma característica da região, que é a abundância de ervais.

Distrito criado com a denominação de Boa Vista do Herval, pelo Ato Municipal n.º 117, de 31-10-1912, subordinado ao município de São Leopoldo.
Em divisão administrativa referente ao ano de 1911, o distrito de Boa Vista do Herval, figura no município de São Leopoldo.
Assim permanecendo em divisão territoriais datadas de 31-XII-1936 e 31-XII-1937.
Pelo Decreto Estadual n.º 7.199, de 31-03-1938, o distrito de Boa Vista do Herval tomou a denominação de Padre Eterno.
No quadro fixado para vigorar no período de 1939-943, o distrito de Padre Eterno (ex-Boa Vista do Herval), figura no município de São Leopoldo.
Pela Lei Municipal n.º 196, de 30-05-1950, o distrito de Padre Eterno tomou o nome de Santa Maria do Herval.
Em divisão territorial datada de 1-VII-1955, o distrito de Santa Maria do Herval (ex-Padre Eterno), figura no município de São Leopoldo.
Pela Lei Estadual n.º 3.823, de 10-09-1959, o distrito de Santa Maria do Herval, foi transferido do município de São Leopoldo, para constituir o novo município de Dois Irmãos.
Em divisão territorial datada de 1-VII-1960, o distrito de Santa Maria do Herval figura no município de Dois Irmãos.
Assim permanecendo em divisão territorial datada de 1-VII-1983.
Elevado à categoria de município com a denominação de Santa Maria do Herval, pela Lei Estadual n.º 8.634, de 12-05-1988, desmembrado do município de Dois Irmãos. Sede no antigo distrito de Santa Maria do Herval. Constituído do distrito sede. Instalado em 01-01-1989.
Em divisão territorial datada de 1993, o município é constituído do distrito sede.
Assim permanecendo em divisão territorial datada de 2007.