該隊於1970年與Portland Trail Blazers和Buffalo Braves一同作為擴展球隊開始比賽。主場比賽最初於1970年至1974年在Cleveland Arena舉行，隨後於1974年至1994年在Richfield Coliseum舉行。自1994年以來，Cavs一直在克里夫蘭市中心的Rocket Mortgage FieldHouse進行主場比賽。Dan Gilbert自2005年3月起擁有該隊。

Cavaliers在早期表現不佳，在前五個賽季中在東區聯盟的排名從未超過第六名。該隊於1976年贏得了他們的第一個中區冠軍，這也標誌著球隊歷史上第一個獲勝賽季和季後賽出場，他們晉級了東區聯盟決賽。

在1980年代後半期和1990年代大部分時間，Cavs是季後賽的常客，由Mark Price和Brad Daugherty等球員領銜，並於1992年晉級東區聯盟決賽。然而，在球隊於1998年季後賽出場後，Cavs連續六個賽季表現不佳，沒有季後賽表現。克里夫蘭在2003年選秀中獲得了狀元籤，他們選中了LeBron James。在James和Zydrunas Ilgauskas的帶領下，Cavaliers在2005年再次成為季後賽的常客。他們在2007年贏得了球隊歷史上第一個東區聯盟冠軍後，首次亮相NBA Finals。

James於2010年加入Miami Heat。結果，Cavaliers在2010-11賽季在聯盟中墊底。然而，在2010年至2014年間，該隊在NBA選秀樂透中三次贏得狀元籤，第一次是在2011年，他們選中了Kyrie Irving，然後又在2013年和2014年。

James於2014年回到Cavs，並帶領球隊連續四次進入NBA Finals。2016年，Cavaliers贏得了他們的第一個NBA Championship，標誌著克里夫蘭自1964年以來的第一個主要體育冠軍。2016 NBA Finals擊敗Golden State Warriors，標誌著總決賽歷史上首次有球隊在落後三場比賽後逆轉贏得系列賽。Cavaliers已22次進入季後賽，贏得了七個中區冠軍、五個東區聯盟冠軍和一個NBA冠軍。