できません。最高裁平成4年2月18日第三小法廷判決（民集46巻2号77頁）は、以下のように判示しています。

「所得税法によれば、居住者に対して課される所得税の額（以下「算出所得税額」という。）は、一暦年間におけるすべての所得の金額を総合して課税総所得金額等を計算した上、これに所定の税率等を適用して算出するものとされ（第二編第一章ないし第三章）、同法一二〇条一項の規定により確定申告をする居住者は、総所得金額若しくは退職所得金額又は純損失の金額の計算の基礎となった各種所得につき同項五号の「源泉徴収をされた又はされるべき所得税の額」（以下「源泉徴収税額」という。）がある場合には、これを算出所得税額から控除して納付すべき所得税の額を計算し、その結果納付すべき税額があるときは、これを国に納付しなければならないものとされ（同号、一二八条）、また、右の計算上控除しきれなかった金額があるときは、その金額に相当する所得税の還付を受けることができるものとされている（一二〇条一項六号、一三八条）。
　右の一二〇条一項五号にいう「源泉徴収をされた又はされるべき所得税の額」とは、所得税法の源泉徴収の規定（第四編）に基づき正当に徴収をされた又はされるべき所得税の額を意味するものであり、給与その他の所得についてその支払者がした所得税の源泉徴収に誤りがある場合に、その受給者が、右確定申告の手続において、支払者が誤って徴収した金額を算出所得税額から控除し又は右誤徴収額の全部若しくは一部の還付を受けることはできないものと解するのが相当である。」

「源泉所得税と申告所得税との各租税債務の間には同一性がなく、源泉所得税の納税に関しては、国と法律関係を有するのは支払者のみで、受給者との間には直接の法律関係を生じないものとされていることからすれば、前記源泉徴収税額の控除の規定は、申告により納付すべき税額の計算に当たり、算出所得税額から右源泉徴収の規定に基づき徴収すべきものとされている所得税の額を控除することとし、これにより源泉徴収制度との調整を図る趣旨のものと解されるのであり、右税額の計算に当たり、源泉所得税の徴収・納付における過不足の清算を行うことは、所得税法の予定するところではない。」