Se ha especulado durante muchos años sobre cual es el origen de su nombre pero no se ha llegado a ninguna tesis concluyente. Una leyenda asegura que en el sótano de esta casa fue vilmente asesinada la familia de un sacerdote. Hay quien dice que el origen del nombre está en unos cráneos labrados bajo las ventanas. Lo más probable es que la casa no tenga por sí ese nombre, sino que lo recibiera de la propia calle en la que está situada, pues consta en varios documentos que en 1753 se llamaba calle de las Muertes.

     La propiedad de la casa se atribuye a su propio arquitecto Juan de Ibarra, lo que explicaría la existencia en la fachada de los escudos propios de la casa Ibarra: un árbol y dos cabras empinadas sobre el tronco. Sería este un caso excepcional ya que en esta época resultaba casi imposible que un arquitecto, incluso de reconocido prestigio, pudiera disfrutar de una vivienda de tal categoría.

     Vinculada a los Ibarra durante tres siglos, pasó a manos privadas mediante pública subasta en 1805, como consecuencia del Real Decreto de septiembre de 1798, que dispuso la venta de los bienes de la iglesia, que la poseía por donación.

     Lo más reseñable de a casa se encuentra en su fachada, espléndida muestra del plateresco salmantino. La puerta está cubierta con un labradísimo dintel con figuras de fino sabor italiano. El balcón, por su parte, está guarnecido por un hermoso arco peraltado apoyado en pilastras con capiteles de apariencia corintia. El arco acoge el escudo de Fonseca (gran mecenas del arte salmantino), sostenido por dos figuras que dirigen sus miradas hacia un espléndido busto en relieve que se alza sobre sus cabezas.

     Este busto, que descanso en una cinta en la que se lee El Severissimo Fonseca Patriarcha Alexandrino, constataría la amistad personal del arquitecto con este poderoso personaje.

     El segundo piso presenta dos magníficas ventanas con dinteles que se abren a manera de tabernáculo. En ellas observamos pilastras decoradas entre columnas corintias sobre pedestales, que a su vez, se asientan sobre lúgubres calaveras. La casa está rematada en lo alto por una cornisa con cabezas de querubines y tallas vegetales.

     Despiertan inmediatamente el interés del observador curioso los seis medallones incorporados a la fachada. Desconocemos a quien pueden representar estos clípeos muy frecuentes, por otra parte, en las fachadas de los palacios renacentistas. Sin embargo, por su belleza y peculiar talla podemos relacionarlos artísticamente con los de la fachada de la iglesia de San Esteban y con los del claustro del Colegio del Arzobispo.