Nazwa “pompa ciepła” jest użyta przez analogię do nazwy powszechnie znanej “pompy hydraulicznej” pompującej ciecz (najczęściej wodę) z niżej położonego zbiornika do zbiornika położonego wyżej. Zarówno “pompa hydrauliczna” jak i “pompa ciepła” potrzebują energii dostarczonej z zewnątrz. Kiedy ciepło płynie w naturalnym kierunku (od wyższej temperatury do niższej), przepływ tego ciepła może być wykorzystany do napędu silnika cieplnego podobnie jak przepływ wody płynącej grawitacyjnie z góry na dół napędza silnik hydrauliczny (turbinę wodną). Aby “zmusić” ciepło do płynięcia w odwrotnym kierunku (od temperatury niższej do wyższej) należy z zewnątrz dostarczyć energii do napędu podobnie jak przy pompowaniu wody z dolnego zbiornika do górnego. Przy odpowiedniej konstrukcji “pompa ciepła” i “silnik cieplny” mogą być jednym urządzeniem, podobnie jak jednym urządzeniem mogą być pompa hydrauliczna i silnik hydrauliczny (np. turbina Kaplana) w elektrowni szczytowo-pompowej.

Sprężarkowe pompy ciepła realizują obieg termodynamiczny (obieg Lindego), będący odwróceniem obiegu silnika cieplnego. Ciepło jest pobierane przez roboczy czynnik termodynamiczny (freon, amoniak, sprężony dwutlenek węgla) w parowniku (dolne źródło ciepła), w którym czynnik odparowuje i trafia do sprężarki, gdzie rośnie energia wewnętrzna czynnika (a więc i temperatura), a następnie w skraplaczu oddaje ciepło (górne źródło ciepła) skraplając się i przez zawór dławiący lub rurkę kapilarną, trafia z powrotem do parownika.

Pompy ciepła wykorzystują ciepło niskotemperaturowe (o niskiej energii) (w praktyce 0 °C - 60 °C), trudne do innego praktycznego wykorzystania.