这个是EditText获取焦点导致的，只要在父容器中加入

android:focusable="true"  
android:focusableInTouchMode="true"

ps:
这样只解决了一部分情况，还有一个方法可以彻底解决这个问题

ScrollView view = (ScrollView)findViewById(R.id.scrollView);
    view.setDescendantFocusability(ViewGroup.FOCUS_BEFORE_DESCENDANTS);
    view.setFocusable(true);
    view.setFocusableInTouchMode(true);
    view.setOnTouchListener(new View.OnTouchListener() {
        @Override
        public boolean onTouch(View v, MotionEvent event) {
            v.requestFocusFromTouch();
            return false;
        }
    });

就能够轻松解决了: )