Google Classroomのヘルプに、採点簿を表示また更新する、というページがあります。そこに示されている手順は、次の通りです。
このうち、課題の返却を実施しないと、採点簿をCSVでダウンロードしたり、Googleスプレッドシートにエクスポートして開いたりすることができません。Google Classroomは採点した後に、生徒に返却することを前提に設計されています。
もし返却せずに成績を集計したい場合には、ブラウザで開いた採点簿の表をすべて選んでコピーして、エクセルなどに貼り付けてから、不要な文字列を削除する手間をかけることになります。