Está situada en el centro de la provincia, en una elevación del terreno a orillas del río Carrión, del que toma el nombre. Asentamiento celtíbero, según los hallazgos arqueológicos encontrados; en época romana se corresponde con la población de Lacóbriga que estuvo implicada en las guerras sertorianas. Tras un periodo de abandono resurge de nuevo entre los siglos IX y X como consecuencia del proceso repoblador.
Conocida en estos años como Santa María de Carrión, fue cabeza del condado de los Bani Gómez quienes también fueron señores de la villa de Saldaña durante mucho tiempo. En 995 ambas localidades fueron destruidas y saqueadas por Almanzor como castigo por la ruptura de los pactos que el conde García Gómez había hecho con los musulmanes. En 1071 fue escenario de las luchas entre los reyes Sancho II de Castilla y Alfonso VI de León. Seis años más tarde el Conde Gómez Díaz y su mujer Teresa, introducen a los monjes cluniacenses en el monasterio de San Zoilo. A ellos también se debió el puente medieval para facilitar el paso de peregrinos y mercaderes.
Villa de realengo, excepto brevemente en el reinado de Enrique II. Sede de concilios y residencia de reyes, Alfonso VIII la otorgó importantes distinciones y celebró cortes en 1188. La primera mención en que aparece completo el actual nombre de Carrión de los Condes es en 1522 en el testamento de Aldonza Manrique. En 1564 el concejo compró al monasterio de San Zoilo la jurisdicción del barrió de San Zoles que hasta entonces era señorío del abad y tenía fueros propios.
En 1472 la localidad fue ocupada por las tropas del conde de Benavente, don Rodrigo Alonso de Pimentel, quién comenzó la construcción de una fortaleza cerca de la actual iglesia de Nuestra Señora de Belén. Don Pedro Manrique, tenente de la villa al no conseguir por medios pacíficos hacer desistir al conde de Benavente, recurre dos años más tarde a las armas y sitia el castillo ayudado de las fuerzas de sus tíos los condes de Castañeda y Osorno.
El Marqués de Santillana que tenía varios antepasados enterrados en la iglesia de San Francisco, solicitó al conde de Benavente que desistiese de sus propósitos y ante la insolente respuesta que recibió se presentó con sus tropas acompañado por su hijo el conde de Saldaña, su yerno el señor de Cameros, su sobrino el conde de Medinaceli, los condes de Tendilla y Coruña, los señores de Valeña y Sacedón, tropas del duque de Alburquerque y de la casa de los Velasco, al las que se unió más tarde el conde de Paredes.
El rey Enrique IV, alarmado al tener noticias de que el conde de Benavente llegaba a socorrer Carrión con su ejército y sus aliados, acude desde Segovia a interponerse entre los dos bandos y apaciguar la situación. Finalmente se acuerda mantener a Carrión en el realengo, la demolición del castillo y la reedificación de las murallas.
Estas protegían principalmente el barrió de Santa María, ya que tanto el río como la elevación del terreno actuaban como de defensas naturales de otras zonas de la villa. Actualmente se conserva un lienzo de unos 150 metros de longitud, entre los que se incluyen dos cubos. Con una altura de 4 metros y un grosor de 2, muestra el relleno de hormigón al haber perdido el revestimiento de piedra. En el extremo situado junto a la iglesia de Santa María se abría la puerta de Padierno. Otras puertas existentes eran la de San Pedro y la del Canto.
Dentro de los monumentos de la localidad tenemos la iglesia de Santa María, de comienzos del siglo XII, en el que destaca su fachada principal, al igual que en la iglesia de Santiago de finales del siglo XII, ambas declaradas monumento nacional; el monasterio de Santa Clara (s. XIII), las iglesias de Santa María de Belén y San Andrés (s. XVI) y, al otro lado del río, el monasterio de San Zoilo (s. X-XI) y su claustro renacentista de estilo plateresco, también monumento nacional.