備忘録

物忘れが酷いので

python

google-cloud-datastore<=0.20からgoogle-cloud-datastore>=0.21へアップデートするときの応急処置

google-cloud-datastore>=0.21にアップデートするとdatastoreのQuery.fetch().next_page()がプライベートメソッドになっている. そのため,以下のように書き換えることで,アップデートに対応できる. lst, has_next, cursor = query.fetch(start_cursor=cu…

google-cloud-python=0.19.0から^0.20.0にアップグレードできない問題の解決法

問題 pip3 install --upgrade google-cloudgoogle-cloud==0.19.0の環境から^0.20.0へアップグレードしようとすると ImportError: cannot import name 'datastore'のようにImportErrorが発生するようになる. 解決法 github.com pip3 uninstall -y google-clo…

numpy.linalg.normの入力のndarrayの要素の型がなぜかnumpy.float64ではなく,floatになってしまった時の対処法

スパース学習をしようとgroup lassoを実装した時に踏んだバグ? group lassoのプロキシマルオペレータは次のようになる. import numpy as np def _prox_w21_norm(W,param): task_weight = np.linalg.norm(W, axis=1) zero_idx = task_weight != 0 radial_ma…

ipython3 parallel でsshを使ったクラスタを作成

準備 ssh,scpをパスフレーズなしでできるようにする。 すべてのホストにipythonが入っている。 クラスタを作成ipython clusterのプロファイルを作成 ipython profile create --parallel --profile=ssh作成したプロファイルまで移動 cd IPYTHON_DIR/profile_s…

tweepyでstreamingを使う

まず、filterを使ってみます import sys import tweepy from tweepy.auth import OAuthHandler from tweepy.api import API class myExeption(Exception): pass class StreamListener(tweepy.streaming.StreamListener): def __init__(self): #データベース…

python-mecabを入れてみる

環境: ubuntu-12.04,python 2.7.3 mecab -v mecab of 0.98MeCabのバージョンに合わせたmecab-pythonをインストールしなければなりません。そのため、上記のコマンドでMeCabのバージョンを調べます。 wget http://sourceforge.net/projects/mecab/files/mecab…