最早的羊羹是用羊肉来熬制的羹，冷却成冻以佐餐。其后随禅宗传至日本，由于僧人不食肉，于是便用红豆与面粉或者葛粉混合后蒸制，故羊羹在日本慢慢演化成为一种以豆类制成的果冻状食品。其后随着茶道的发展，羊羹逐渐成为一道著名的茶点。
起源自中国，其后再传入日本而成为当地的传统点心。初期，羊羹的确是一种加入羊肉煮成的羹汤，再冷却成冻佐餐。后期羊羹传至日本，但在镰仓时代至室町时代佛教的禅宗传入，由于僧侣戒律不能食荤，故羊羹亦慢慢演化成为一种以豆类制成的果冻形食品。此后，羊羹成为了茶道的其中一种著名茶点，而日本人亦慢慢将羊羹发展和转化，变成今天多款不同口味的羊羹。
不过，亦另有传说指出，羊羹原是中国的一种仿照羊的肝脏形状制成的食品。传至日本后，由于“肝”与“羹”两字被混淆，久而久之就被称之为羊羹，直至今天。
初期的羊羹制法主要以小豆加上小麦粉混和，再加以蒸煮而成。制作方法如另一种和式果子外郎相若。
天正17年（1589年），和歌山的骏河店店主冈本善行右边卫将原有的羊羹作改良，在馅料中加入寒天（一种晒制而成的干菜，煮后凝固成果冻状。与现代的“琼脂”相似）制成炼羊羹，并用竹竿将羊羹的形状巩固成方形。此后，羊羹就成了现时长方形的形状。
江户时代是炼羊羹最盛行的时期，其中以江户本乡的藤村羊羹最为著名，而与此同时四周亦开满了林林总总以制作羊羹为主的知名店铺。
本炼：传统的原味羊羹，以三至四小时慢火制成，口味较甜，适合佐以较苦涩的茶。
小仓：以红豆为主要材料制成，比较盛行的一种口味。
栗：以栗子为主要材料制成。
黑糖：口味较甜，以黑糖制成。
抹茶：绿茶口味的羊羹。
雅马哈：清甜口味，颜色多为紫色。
羊羹虽好，但糖分过多，不宜长食。
