もしもドロップシッピングのデータCSV展開時の注意
もしもドロップシッピングを始めようとしている人に質問されたのでメモしておく。
もしもドロップシッピングからデータを取得するにはAPIを利用する方法とデータCSVを使う方法がある。APIはアイテムを表示毎や一覧表示毎にAPIから取得してキャッシュしておくと、一切のデータを持たずにDSサイトを制作できる。
が、それだと検索エンジン対策が不完全になるので、一般的にはデータCSVから全てのデータをパースしておくのが一般的な方法になるかと思う。そしてそのデータCSVがかなりややこしいので注意が必要になる。
かといってCSVファイルにはAPI情報に含まれる情報から含まれていない情報があり、逆にAPIになく、CSVファイルにしか含まれてない情報があるので双方ともの情報が重要になる。
基本的にはAPI、大量登録の補助的にCSVを使うのが目的になるかと思う。
- 作者: 竹内謙礼,株式会社もしも
- 出版社/メーカー: 日本実業出版社
- 発売日: 2007/07/12
- メディア: 単行本(ソフトカバー)
- 購入: 6人 クリック: 101回
- この商品を含むブログ (6件) を見る
まずデータCSVはZIP形式で圧縮されており50MB程ある。展開後のサイズは550MB弱。行数は40万行弱あるので古いExcelでは開けないとのこと。LibreOfficeのCalcでも開くのに少々時間がかかり、スクロールすると表示が乱れてしまう。全カラムを選択しようものなら数分固まることに覚悟が必要になる。
そのCSVには各価格税抜き額表記の他に税額のみ表記、税込み額表記などが全て分かれていたりとかなり無駄な情報があり無駄な情報の結果容量を食っている。さらに、フラグの値がBool値(0,1)であるフィールドと"○"で表しているフィールド、「C D」の様な表記、区切り文字がいわゆる全角スペースな項目もあったりと、事務のOLが半笑いで作ったようなCSVファイルなので注意が必要になる。
更にはAPIで返ってくる情報は文字コードが「UTF-8」で返ってくるにも関わらず、データCSVは「Shift-JIS」ではなく「cp932」なので注意が必要になる。本当に事務職が手作業でExcelで管理しているのかと思う。
そしてそして、更にはそのファイルをcp932でデコードするとデコードエラーが頻発する。1年前に比べるとデコードエラーの頻度は少なくなっているが、本日現在のファイルでもデコードエラーが発生する。
この為以下のようにエラーを抑制してファイルを開かなければ、30万行ほど処理した辺でエラーが出て泣きたくなる。
open('articles.csv', encoding='cp932', errors='ignore')
さらにこのCSVは「追加」されていくわけではなく、商品の取り扱いが減っていくのか「追加」と「削除」が行われているので注意が必要だ。一気に数千行が削除されることもあり、4月に入ってからはその動きが顕著になっている。
このようにもしもDSのCSVファイルには色々と罠がある。その罠はCSVファイルにもに適応され、APIはAPIで別の罠があるので別々に注意が必要になる。そもそもCSVとAPIは取得できる情報が異なる上にデータ表現も異なるので同じパーサでは処理できない。
もしもDSをしばらく使ってみると数多くの点でおかしなところを見つけられる。ユーザ数は実際には何人いるかわからないが、もしもDSのFAQサイトを立ち上げてみようかな。
あまりにも意図不明な箇所が多いので悩んでいる人も多いかもしれない。
- 作者: 上田淳子
- 出版社/メーカー: 翔泳社
- 発売日: 2010/02/02
- メディア: 単行本(ソフトカバー)
- 購入: 4人 クリック: 86回
- この商品を含むブログ (4件) を見る
ドロップシッピングの達人が教える! <売上別>成功体験BEST54 (得する<コレだけ!>技)
- 作者: ドロップシッピング研究会
- 出版社/メーカー: 技術評論社
- 発売日: 2011/10/29
- メディア: 単行本(ソフトカバー)
- 購入: 1人 クリック: 2回
- この商品を含むブログ (2件) を見る
はじめよう!ドロップシッピング―ネットショップの新しいカタチ“ドロップシッピング”の魅力のすべて! (DO BOOKS)
- 作者: 浮城隆
- 出版社/メーカー: 同文舘出版
- 発売日: 2007/02
- メディア: 単行本
- 購入: 1人 クリック: 28回
- この商品を含むブログ (5件) を見る
ドロップシッピングで2.5億円売り上げた ヒトミ先生が教えるネットショップ構築テクニック
- 作者: 柿内ひとみ
- 出版社/メーカー: ソシム
- 発売日: 2010/09/07
- メディア: 単行本
- 購入: 3人 クリック: 133回
- この商品を含むブログ (1件) を見る