El castillo de Magaz se situaba sobre un cerro, dominando la localidad y la margen derecha del río Pisuerga. Escasos son los restos que han llegado hasta nuestros días, conservándose en el lado Norte parte de un lienzo de mampostería de 2,5 metros de altura y 6 de longitud, bajo él se aprecia el foso que rodeaba todo este frente al ser la vertiente más accesible.

En el Sur también aparecen restos de mampostería de menor importancia. En la cima, un poco hundidos con respecto al nivel del suelo, se encuentran restos de una bóveda de cañón que pudieran corresponder a un aljibe o dependencia subterránea de la torre. A finales del siglo XVIII se encontraba casi arruinado.

La zona contó con asentamientos humanos desde la Edad del Bronce, como lo atestiguan los restos arqueológicos descubiertos en el pago de Los Llanos. Repoblada por Alfonso III en el año 905, se levantó el castillo, al igual que los de Dueñas y Tariego de Cerrato, para controlar el paso por el valle del Pisuerga. Todas estas fortificaciones se comunicaban visualmente entre sí.

En 1122 la reina doña Urraca entrega el castillo y la villa a Pedro I, obispo de Palencia. Alfonso VII, confirma esta donación en 1135. Durante la minoría de edad de Fernando IV, en 1297, la fortaleza cae en poder de los partidarios de Alfonso de la Cerda, siendo recuperada por Alvaro Gómez Carrillo, obispo de Palencia y sobrino de la reina madre María de Molina.

El 23 de enero de 1521, durante la Guerra de las Comunidades, el castillo resistió el ataque de las tropas del obispo Acuña, no así el pueblo que fue saqueado, llevándose hasta las cruces y ornamentos de la iglesia.

Felipe II, en 1574, consigue la aprobación del Papa, para que castillo y villa sean apartados de la jurisdicción eclesiástica, cosa que finalmente ocurre en 1581 a cambio de un juro de 10.845 maravedís.

Por Real Cédula de 11 de marzo de 1639, Felipe IV autoriza la venta a Bartolomé Spinola, conde de Pezuela de las Torres. Los 26 vecinos que entonces tenía la villa no pudieron comprar su libertad. Tras la muerte del conde, el Consejo de Hacienda vuelve a vender la localidad y el castillo en 1656 a Lorenzo de Tejada, caballero de la orden de Santiago, por 2.549.108 maravedís de plata.

Figura en 1752 como señorío de Luis de Dibuja y Villa Gómez. En la Guerra de la Independencia la localidad es ocupada por las tropas francesas encargadas de proteger el Camino Real, que comunicaba Valladolid con Burgos.

En el casco urbano destaca la iglesia parroquial de San Mames, siglo XII, de estilo románico aunque con varias remodelaciones posteriores.