Много в русском языке образных поговорок.
Есть такая поговорка, которую употребляют когда хотят показать сомнительность в успехе мероприятия.
Ответ на поставленный вопрос вытекает из этой поговорки.
Хотят поставить под сомнение-
говорят "вилами на воде писано".
Какое изображение писанное вилами может сохранить вода? Понятно что никакого.
Ответ на вопрос "карандаш для письма по воде" - вилы.
Вилы - это сельскохозяйственный инструмент, который почти вышел из употребления.
Его использовали, например, для погрузки сена.
Они представляют из себя несколько металлических зубьев на длинной ручке.
Во времена народных волнений были грозным оружием.