Tanto Baroja como Zumento son pueblos muy antiguos. Aparecen en la Reja de San Millán en el año 1025 y en documentos posteriores del siglo XIII. Pertenecieron a los Sarmientos, Condes de Salinas y después a sus herederos, los Duques de Hijar. En la primera guerra carlista se libraron varios enfrentamientos en sus alrededores.
Las casas se encuentran en su mayoría rodeadas por huertas y jardines. Las antiguas escuelas son el centro social. También tiene parque infantil, juego de bolos y una zona deportiva en la que se puede practicar fútbol, baloncesto y tenis. La fuente-abrevadero-lavadero se encuentran en la plaza. La iglesia, dedicada a San Martín, está situada en un extremo del pueblo.
Los alrededores del pueblo están salpicados por grandes peñas y cuevas artificiales. Merecen atención las ruinas de Peña Hueca, El Horno y el Campanario, con sepultura y grabados.
La iglesia dedicada a San Martín se yergue sobre una pequeña loma. Un arco de medio punto da acceso a la portada, de arco rebajado y decorado con motivos geométricos, y rematada con una cornisa con varias molduras sobre la que se apoya otro arco de medio punto cerrado, de finales del siglo XVI.
La planta es rectangular y se compone de una bóveda de tres tramos adornada con estrellas y claves con figuras. En la tercer tramo, sobre el coro, preside un arco toral con un relieve de Jesús. La pila bautismal, románica y decorada, se encuentra debajo del coro. La torre es de base cuadrada de piedra, con cuatro arcos de medio punto.
El retablo central, de estilo barroco, acoge en el centro la imagen del titular de la iglesia, San Martín, acompañado por San Antonio Abad, San Pablo, San Pedro y San Roque. Lo remata en lo alto Jesús Crucificado. Los retablos laterales, también barrocos, están dedicados al Santo Cristo y a Nuestra Señora del Rosario y en ellos se encuentra la talla de San José del siglo XVII. Varias imágenes completan la iglesia.
