Don’t point your finger at me!って指をさす？

“Don’t point your finger at me, it wasn’t me you know!?”

私のせいじゃないよ・私のせいにしないで

“point one’s finger at ～”には、「（犯人・責任のある人物など）を指し示す、～を公然と責める・非難する」という意味です。

“Don’t point your finger at me!”を直訳すると、「非難しないで・私を公然と責めないで」という意味使いになり、そこから、「私のせいじゃないよ」、「私のせいにしないで」とか「私を責めないで」
という意味になります。

“Don’t blame me.”と言っても同様の意味合いにも使えます。

ただ、“point one’s finger at ～”とした場合の方が、指で相手のことを指し示して「公然と」非難するわけですから、非難の度合いが強いです。

“Don’t point your finger at me! I didn’t do that.”
「私のせいにしないで。そんなことしてないよ」