LinuxでWindowsのCSVファイルをShift-JISからUTF-8に変換する方法


linux-csv-encode

日本語版のExcelでCSVを作成するとShift-JIS（SJIS）で保存されるが、それを別のLinuxサーバー側のプログラムで読み込もうとすると、文字化けしてしまうことがよくある。
それは日本語版Windowsの標準文字コードがShift-JISであるのに対し、プログラム側は世界で最も使われているUTF-8を使用することが多いからだ。

今回は「UTF-8」を中心に、文字コードの基礎と各ブラウザでの確認方法をご紹介します。文字コードの存在は知っているけれど詳しくは知らないという方は、この機会に基礎知識を身に付けてみてください。
文字コードって何だ！？ 世界で最もポピュラーな文字コード「UTF-8」とその仕組み... - ferret [フェレット]
サーバーにCSVファイルを渡す前に手動で文字コードを変更したり、プログラム側で変換するのはあまり効率的ではない。
そこで、Linuxのiconvコマンドを使って文字コードを変換する方法を紹介します。

Shift-JISからUTF-8へ変換

今回は、対象のCSVファイルをUTF-8に変換後、別のファイル名で出力する方法です。

iconv [その他オプション] -f [変換前の文字コード] -t [変換後の文字コード] [変換前のファイル名] > [変換後のファイル名]

上記を踏まえて以下に例を書きます。
変換できない場合は出力せずにスキップさせます。

iconv -c -f cp932 -t utf-8 data_sjis.csv > data_utf8.csv

「cp932」とはShift-JISのWindows拡張版らしいです。
Excelで作成したCSVならこっちの方が良いらしい（ここは調べてみてね！）
※Windows-31J(MS932)も同じようなものらしい

本連載は、Linuxのコマンドについて、基本書式からオプション、具体的な実行例までを紹介していきます。今回は、「iconv」コマンドです。
【 iconv 】コマンド――文字コードを変換する - ＠IT

文字コードの問題って昔から大変ですよね。
早く全世界UTF-8に統一したら良いのに…


コメント

コメントを投稿

このブログの人気の投稿

Linuxでファイルの改行コードLF⇔CRLFを変換する方法

イメージ
前回、 Linux で文字コードがUTF-8のファイルに対して、BOM付き⇔BOMなしを 変換 する方法をご紹介しました。 最近ではあまり意識しなくなりましたが、UTFｰ8にはBOM（byte order mark）という厄介な存在があります。今回は、LinuxでこのBOMを付けたり外したりする方法をご紹介します。BOMとは？BOMを簡単に説明すると、そのファイルがUnicodeで符号化されているかどうかを、先... UTF-8のBOM付きとBOMなしを変換する方法（Linux） - Minory 今回は、 改行コード の LF ⇔ CRLF を 変換 する方法をご紹介します！ 3つの改行コード 面倒なことに、 OS によって 改行コード が異なります。 LF: UNIXやUnix系のシステム。Linux、AIX、Xenix、macOS、BeOS、Amiga、RISC OSなど。 CR+LF: CP/M、MP/M、MS-DOS、OS/2、Microsoft Windows。 CR: コモドールによるシステム、Apple IIファミリ、Mac OS（バージョン9まで）、OS-9。 改行コード – Wikipedia 普段からよく使う 改行コード は、 Linux の LF と Window の CRLF です。 利用する システム によっては、これらの 改行コード の違いが邪魔して、動かなかったりします。 そこで、 LF から CRLF 、または CRLF から LF に変換してみましょう。 改行コードを確認する fileコマンドを使う BOM編でもご紹介した file コマンド を利用して確認できます。 file sample.txt このように入力すると、 CRLF の場合は以下のように表示されます。 sample.txt : UTF-8 Unicode (with BOM) text, with CRLF line terminators. 「 with CRLF line terminators 」と表示されれば CRLF 、無ければ LF ということになります。 odコマンドを使う 以下のように実行すると、 od -c sample.txt 改行している箇所が「 \n （ LF ...
続きを読む

RHEL 7でスタティック（静的）ルートを追加する4つの方法

イメージ
今回は、 Linux の ルーティング テーブル に対して、 スタティック （ 静的） ルート を 追加 する方法をいくつかご紹介します。 と言うのも、場合によっては コマンド がなかったり、設定した結果が思うように返ってこないこともあるので、どのような状況にも対応できるように、知っていても損はないと思います。 スタティック（静的）ルートとは？ スタティックルート とは、管理者が宛先 ネットワーク への最適な ルート を手動で設定した ルート のことで、 ネットワーク の状態に変化があった場合でも、他に有効な宛先 ルート があっても、自動的にその ルート に切り替わることはありません。 ルーティングについてはじめから解説。 スタティックルーティングとは - www.infraexpert.com 設定内容の確認方法 ip コマンド を利用して、 ルーティング の設定内容を確認します。 ip r（route） すると、このように表示されます。 default via 192.168.100.254 dev ens160 proto static metric 100 192.168.100.0/24 dev ens160 proto kernel scope link src 192.168.100.10 metric 100 192.168.100.0/24 via 192.168.100.254 dev ens160 proto static metric 101 上の2行はデフォルトで設定されているものですね。 3行目の ルーティング 設定例を見ると、以下のように設定されています。 IPアドレス：192.168.100.0 サブネット：255.255.255.0 ゲートウェイ：192.168.100.254 インターフェース：ens160 メトリック：101 次に、以下の ネットワーク デバイス の情報を見てみましょう。 ip a このように表示されるはずです。 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopbac...
続きを読む

SQLPlusでのOracleリモート接続とSQLファイルを実行する方法

イメージ
Linux から SQLPlus で Oracle データベース に対し、 SQL 文を入力して実行する方法は特に問題ないと思いますが、今回は SQLPlus で 外部 から リモート 接続 し、かつ、 SQL 文が書かれた SQL ファイル を実行する方法をご紹介します。 SQLPlusでOracleにリモート接続 基本的に2種類の方法があります。 前者はそのまま データベース への接続情報を記述しますが、後者は tsnames.ora という 設定 ファイル を使って接続する方法です。 1. 設定ファイルを使用しない方法 設定 ファイル を使用せずに直接 リモート 接続 する方法は以下の通りです。 sqlplus [USER_NAME]/[PASSWORD]@[IP or HOST]:[PORT]/[SERVICE_NAME] ちなみに、サーバー指定するのはIPアドレスでもホスト名でも構いません。 2. tnsnames.oraを利用した接続方法 次の方法は、まず tnsnames.ora という 設定 ファイル に以下のように接続情報を記載します。 ファイルの場所がわからなければググってください。もしくは作成してください。 [NET_SERVICE_NAME] = ( DESCRIPTION= ( ADDRESS=(PROTOCOL = [ex:TCP])(HOST = [IP or HOST])(PORT = [PORT])) ( CONNECT_DATA= (SERVICE_NAME=[SERVICE_NAME])) ) そして、以下のように記述すると前者より簡単に接続することができます。 sqlplus [USER_NAME]/[PASSWORD]@[NET_SERVICE_NAME] こちらを参考にさせていただきました。 ## 前提Oracleクライアントがインストールされていること### 基本```C:\ &gt; sqlplus /@:/[Servic... SQLPlusでOracleにリモート接続するメモ - Qiita - Qiita SQLファイルを実行する方法 データベース に接続した後、単純に SQL ファイル を実行するには、以下のよ...
続きを読む