モデムはデジタル信号とアナログ信号を変換してくれる装置です。物理層、データリンク層に相当します。

ルータはIPアドレスによってネットワークの経路を選択します。ネットワーク層に相当します。

ゲートウェイはプロトコル変換機とも言われ、まったく異なるプロトコルを変換するときに使用します。例えばTCP/IPのプロトコルから社内ネットワークで使用するプロトコルに変換する場合などです。
OSIの7層すべてを変換します。