He is easy to work with. 에서,,

보기 중에 to work with others. 가 있었는데 이건 왜 안되죠.
해설에는 he가 with의 목적어가 되기떄문이라고하는데,, 잘 이해가 되지 않아요.

I have a pen to write with. 처럼 to부정사가 앞의 명사를 꾸밀 때에는 명사가 to부정사의 목적어 역할하는 것 알겠거든요.

첫 번째 문장은 to부정사가 easy를 꾸미는 부사적 용법아닌가욤?? ㅠㅠ

설명 부탁드려요~^^