Sí, hay un sabor. Es similar al de las almendras amargas, una planta relacionada.
Puede haber peligro al consumir hoyos crudos, como han notado otras respuestas, pero cuando se cocinan o se tratan con calor, los compuestos que contienen cianuro se descomponen y se vuelven seguros para consumir.
La popular galleta Amaretti di Saronno y el licor Amaretto usan albaricoques, almendras (usados por algunos) y algunas veces una mezcla de ambos para presentar un fuerte sabor a almendras.
Por cierto: no obtendrá el sabor de los núcleos sin grietas.