Лыжи - эк как Кунг-фу - надо не бояться сил, которые на тебя воздействуют, а правильно с ними работать. Просто это не плавание и не бег, где все движения привычны для организма, тут специфическая техника, тело работает не так, как оно привыкло в обычной жизни. Тогда и скорость становится твоим другом, на скорости управляемость лыжи выше, чем при медленной езде.
Если хочется - очень рекомендую начать с роликовых коньков. Техника очень похожая, сам летом катаю по максимуму.