Det var ännu en bitter förlust för Lundqvist och kompani.
Inte minst efter det att man hämtat upp ett 0-2-underläge och skaffat sig en 4-3-ledning med en knapp minut kvar.
Men då kvitterade Sidney Crosby med en fräckis, där han skickade in pucken via Henke från en position snett bakom Rangerskassen.
LÄS MER: NHL – matcher i dag, matcher i tv, resultat och statistik
Rangersbacken Kevin Shattenkirk får ta på sig en del av skulden för Pittsburghs kvittering, då han upphävde en avblåsning genom att röra pucken sedan Patric Hörnqvist hade vidrört den med handen och skickat pucken i rktning Crosby.
Sedan klantade Rangers lagkapten Ryan McDonagh till det med en misslyckad passning i egen zon tidigt under förlängningen, som Phil Kessel enkelt kunde få tag på och spela fram en fri Jevgeni Malkin, som kunde göra 5-4 till regerande mästarna.
- Jag får ta på mig det kostsamma misstaget. Det var verkligen ett dåligt uppspel av mig, det får bara inte hända, sa en bedrövad McDonagh efteråt till New York Post.
New York Rangers sist i tabellen
Han hade ingen större kväll i Madison Square Garden med sex "giveaways".
Henke svarade för 28 räddningar.
Om Crosbys konstmål sa svensken efteråt:
- Det är inte första gången han gör ett sådant mål på mig och syftade på ett mål från den 31 mars när Crosby vallade in pucken via Lundqvists huvud.
Rangers har bara en seger på sju matcher och ligger sist i tabellen för Metropolitan division.
Hos Penguins gjorde Carl Hagelin sitt första mål för säsongen när han skickade in 2-0 i den första perioden på ett hårt handledsskott, som smet in på Henkes plocksida.
Patric Hörnqvist svarade för sitt tredje mål i höst med sin kvittering till 3-3 i power play i slutet av den andra perioden.
Hörnqvist hade också en assist.