すいません、追記です。

少し固い用語を使うと、前置詞の後ろの名詞のことを「前置詞の目的語」と言ったりもします。したがい、前置詞の直後のwhoは目的格とみなされ、whomに変化します。

コメントありがとうございます。

ざっくり言うと、「前置詞の直後でwhoを使うとき、必ずwhomを使わなければいけない」というルールがあるためです。

たとえば、”This is the man with whom I went there. (こちらは、私がそこへ一緒に行った男だ / the manを”with whom I went there”が修飾しています)”などが例として挙げられます。

また、関係代名詞ではなくとも、下記の例ではやはりwhomが必ず用いられます。こちらは、疑問詞のwhomです。
“By whom was the picture stolen? (誰によって、その絵は盗まれた？)”

上記の説明や、他の記事等で不明点があればぜひぜひコメント頂ければ嬉しいです（とても参考になります）。