À l'époque Sengoku, Kakegawa abrite un village fortifié du clan Imagawa. À la suite de la défaite des Imagawa contre Oda Nobunaga à la bataille d'Okehazama, Kakegawa et le reste de la province de Tōtōmi passent sous le contrôle de Shingen Takeda. Yasutomo Asahina, fidèle au clan Imagawa, cède Kakegawa à Takeda, allié de Tokugawa Ieyasu. Après la mort de Shingen Takeda, Ieyasu prend le contrôle de toute la province de Tōtōmi et donne Kakegawa à son allié Ienari Ishikawa.Mais après le siège d'Odawara en 1590, Ieyasu est contraint de céder ses domaines de la région de Tōkai à Toyotomi Hideyoshi en échange des provinces de la région de Kantō. Kazutoyo Yamauchi, obligé de Toyotomi, reçoit Kakegawa et améliore considérablement les structures du château et le système des douves.
Après la bataille de Sekigahara, Tokugawa Ieyasu reprend le contrôle de la région de Tōkai et Kazutoyo Yamauchi cède Kakegawa en échange de la province de Tosa en Shikoku.
En février 160], Sadakatsu Hisamatsu, demi-frère de Ieyasu, est fait daimyō du nouveau domaine de Kakegawa avec des revenus de 35 000 koku. En avril 1607, il est de nouveau assigné au domaine de Fushimi nouvellement créé et transmet Kakegawa à son fils Sadayuki qui le dirige jusqu'à ce qu'il soit lui-même assigné au domaine de Kuwana en 1617.
Naotsugu Ando est daimyō avec des revenus réduits à 28 000 koku de 1617 à 1619, quand il est réassigné au domaine de Tanabe comme conseiller de Tokugawa Yorinobu. Le gouvernement de Kakegawa est brièvement restitué à une branche du clan Hisamatsu avec le transfert de Sadatsuna Hisamatsu du domaine de Shimotsuma dans la province de Shimosa avec des revenus légèrement augmentés à 30 000 koku. Mais il est transféré au domaine de Yodo dans la province de Yamashiro en 1623.
Le prochain résident du château de Kakegawa est Nobumasa Asakura, un proche conseiller du malheureux Tadanaga Tokugawa. Après le seppuku forcé de Tadanaga, Asakura est déchu du domaine et exilé à Yamatokōriyama dans la province de Yamato.
Yoshinari Aoyama, en provenance de la province de Hitachi, est alors affecté à Kakegawa et ses revenus sont fixés à 33 000 koku. Il est affecté au domaine d'Amagasaki en 1635 et remplacé par Tadashige Matsudaira, ancien daimyō du domaine de Tanaka dans la province de Suruga. Les revenus du domaine sont augmentés à 40 000 koku et après sa mort en 1639, son fils Tadamoto lui succède avant d'être transféré au domaine d'Iiyama dans la province de Shinano juste un mois plus tard. Tadayoshi Honda, petit-fils de Honda Tadakatsu, est alors affecté à Kakegawa et les revenus sont augmentés à 70 000 koku. Mais en 1644, Tadayoshi Honda est de nouveau affecté au domaine de Murakami dans la province d'Echigo.
Son successeur à la tête du domaine de Tanaka s'appelle Tadaharu Matsudaira. Le bakufu rétrograde par contre le classement du domaine à 25 000 koku. En 1648, il est transféré au domaine de Kameyama dans la province de Tamba. Le domaine de Tanaka reçoit un successeur : Ujishige Hōjō qui reste daimyo du domaine jusqu'à sa mort, sans héritier en 1658.
En février de la même année, Naoyoshi Ii arrive du domaine de Nishio, dans la province de Mikawa voisine, et gouverne Kakegawa jusqu'à sa mort en 1672. Sa branche du clan Ii gouverne le domaine jusqu'en 1706.
Après une brève période sous Tadataka Matsudaira (Sakurai) jusqu'à son transfert au domaine d'Amagasaki, Kakegawa passe sous le contrôle de la génération du clan Ogasawara de 1711 jusqu'à son transfert au domaine de Tanagura en 1746.
Finalement, en 1746, Suketoshi Ota est affecté à Kakegawa en provenance du domaine de Tatebayashi dans la province de Kozuke. Le clan Ōta fournit les sept daimyōs suivants à Kakegawa jusqu'à la restauration de Meiji et apporte ainsi une période très nécessaire de stabilité et de continuité à la politique du gouvernement. En février 1869, Ōta Sukeyoshi (II), septième et dernier daimyō, est transféré par le nouveau gouvernement de Meiji au domaine de Matsuo à la brève existence dans la province de Kazusa et le domaine de Kakegawa Domain est absorbé dans le nouveau domaine de Shizuoka créé à l'intention de Tokugawa Yoshinobu, l'ancien shōgun maintenant retiré.