September 2015
Intermediate to advanced
272 pages
4h 55m
Japanese
Content preview from コマンドラインではじめるデータサイエンス ―分析プロセスを自在に進めるテクニック
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
225
225
B.2 文字コードを変換する
Windows
の拡張文字の文字化けやエラー
例えば
NEC
特殊文字の①という文字がデータに含まれていたとします。この特
殊文字は、
CP932
では定義されていますが
Shift_JIS
では定義されていません。
このような拡張文字が含まれる可能性がある場合には、非常に気づきにくいエ
ラーとなることがあります。
パーセントエンコーディングされた文字列をデコードする際のエラー
ウェブの検索クエリは、ブラウザ上でパーセントエンコード（
URL
エンコード）
されてからサーバーに送信されます。検索クエリを分析する際には、パーセント
エンコーディングされたクエリを一旦人間の認識できる文字に変換（デコード）
しなければなりません。
デコードする際、ログの仕様によってはクエリ文字列が途中で途切れてしまう場
合があります。例えば
UTF-8
の
"
日本語
"
の
"
日
"
という文字は、パーセントエ
ンコーディングでは
%e6%97%a5
となりますが、ログの長さ制限のために
%e6%97
までしか保存されないような状況です。当然
%e6%97
に対応する文字が無いため、
デコードに失敗してしまいます。
パーセントエンコーディング処理はクライアント側で行われるため、パーセント
エンコーディングの元となる文字コードが行によって異なる、という状況に出く
わすこともあります。
こういった問題に悩まされないために最も簡単な対処法は、「すべてのデータを
UTF-8
に変換してから処理をする」という方針をとることです。
UTF-8
であれば、 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.