雑食性雑感雑記

知識の整理場。ため込んだ知識をブログ記事として再構築します。

Boost.numpy ことはじめ

以前から「Boost.numpy」というのが便利というのを聞いていたがなかなか使って見る機会が無く。。
他のブログ等検索したが、自分にちょうど良さそうな記事が見つからなかったので整理しつつ事始めしてみる。

Ubuntu16.04で環境構築から始めて、簡単なサンプルをcmakeビルドし、Pythonで呼び出すところまで。

Boost.numpy

Boost 1.63 辺りから追加された機能。
C++ boost code ⇔ Python 間で numpy 配列を受け渡し、
  Python だと遅いところは C++ で操作
  C++ で記述が面倒なところは Python で操作
することができる。

環境

  • Ubuntu16.04
    • Python3.5
    • ( boost は 1.58 が apt-get により既に導入済み )
    • その他
      • CMake 3.5 ( ソースコードからビルドで導入 )

環境構築

最新版 Boost

/opt 上に boost 環境を構築した。書いた時点で最新は1.67。
デフォルトだとPython2.7の方に行ってしまうので、bootstrap にてPython3を使うようにしてあげる。
環境汚さないように、ビルドしたものは /opt 内に。

sudo su - 
cd /opt/
wget https://dl.bintray.com/boostorg/release/1.67.0/source/boost_1_67_0.tar.gz
tar zxvf boost_1_67_0.tar.gz
cd boost_1_67_0
./bootstrap.sh --with-python-version=3.5
./b2 --prefix=/opt/boost_1_67_0 install

確認

find / -name *boost_numpy*
( 中略 )
/opt/boost_1_67_0/lib/libboost_numpy35.so

使ってみる

サンプルソースコード

参照1のコードを使わせてもらう。インクルード等ちょっと修正。
ポイント :

  • BOOST_PYTHON_MODULE の第一引数にはPythonで実行時のモジュール名。
    • 後で cmake ビルドで「lib~」となるので見越した名前を付ける。

sample.cpp

#include "boost/python/numpy.hpp"
#include <stdexcept>
#include <algorithm>

namespace p = boost::python;
namespace np = boost::python::numpy;

/* 2倍にする */
void mult_two(np::ndarray a) {
  int nd = a.get_nd();
  if (nd != 1)
    throw std::runtime_error("a must be 1-dimensional");
  size_t N = a.shape(0);
  if (a.get_dtype() != np::dtype::get_builtin<double>())
    throw std::runtime_error("a must be float64 array");
  double *p = reinterpret_cast<double *>(a.get_data());
  std::transform(p, p + N, p, [](double x) { return 2 * x; });
}

/* BOOST_PYTHON_MODULE の引数は .so 名 */
BOOST_PYTHON_MODULE(libsample) {
  Py_Initialize();
  np::initialize();
  p::def("mult_two", mult_two);
}

ビルド設定

CMake でビルド。
ポイント :

  • boost は独自インストールなので、それに対応した読み込み。

CMakeLists.txt

project(sample)
cmake_minimum_required(VERSION 3.0)

set(BOOST_ROOT /opt/boost_1_67_0)


### C++11
add_compile_options(-std=c++11)

### pkgconfig (for pkg_check_modules)
find_package(PkgConfig REQUIRED)

### Python includes
pkg_check_modules(PYTHON3 python3 REQUIRED)
include_directories(${PYTHON3_INCLUDE_DIRS})

### Boost includes
include_directories(${BOOST_ROOT}/include)
link_directories(${BOOST_ROOT}/lib)

### Build
add_library(sample SHARED sample.cpp)
set_target_properties(sample PROPERTIES SUFFIX ".so")

target_link_libraries(sample boost_numpy35 boost_python35)

ちなみに、ここまでのディレクトリ構成は

<root directory>
    - sample.cpp
    - CMakeLists.txt

となっている想定。

root directoryのところからビルドする。

mkdir build
cd build
cmake ..
make

正常にビルドされると libsample.so ができる。

実行

読み込んでみる。 (ipython3)

ipython3
In [1]: import libsample as s

In [2]: import numpy as np

In [3]: a = np.array([1.0, 2.0], np.float64)

In [4]: s.mult_two(a)

In [5]: a
Out[5]: array([2., 4.])

まとめ

Boost.Numpy の実行試せた。
CMake とのつなぎ方も分かったし、これで複雑なコードも気楽にビルドできるでしょう。
( そこまで複雑な処理を作れるかどうかはともかく。。 )

参照

Python で使うと便利なライブラリ (2016/08/18 更新)

Python で便利だと思って使うようになったライブラリのメモ。
知識増えて使えるようになったら随時更新 (最終更新 2016/08/18)

標準ライブラリ

all, any

t = [True, True, True]
f = [True, True, False]

print(all(t)) # True
print(all(f)) # False
print(any(f)) # False

  • 2つのリストのチェックに使ってみた
la = [1, 2, 3]
lb = [1, 2, 4]

### All 関数なし
flag = False
if len(la) == len(lb) :
    flag = True
    for a, b in zip(la, lb) :
        if a != b :
            flag = False
            break
print(flag)


### All 関数あり。
print(len(la) == len(lb) and all([a == b for a, b in zip(la, lb)]))

collections.defaultdict

  • 例えば数え上げ処理
import random
data = [random.randint(0, 10) for i in range(100)]

### defaultdict 無し
counter01 = {}
for datum in data :
    if datum not in counter01 :
        counter01[datum] = 1
    else :
        counter01[datum] += 1

print(counter01)


### defaultdict あり
from collections import defaultdict
counter02 = defaultdict(int)
for datum in data :
    counter02[datum] += 1

print(counter02)

3rd Party

docopt

# -*- coding: utf-8 -*-

from docopt import docopt

__doc__ = """
Description:
    Docopt test module
    日本語説明も大丈夫

Usage:
    {f} [-h | --help]
    {f} [-v | --version]
    {f} [<opt>] --arg0=<arg>

Options:
    -h --help      Show this screen.
    --version      Show version.
    <opt>          Option0
    --arg0=<arg>   Argument0
""".format(f = __file__)


if __name__ == '__main__' :

    args = docopt(__doc__, version = "0.0.1")
    print("arg0 = {0}".format(args["--arg0"]))
    print("opt0 = {0}".format(args["<opt>"]))

  • 実行結果
$ python test.py yyy --arg0=xxx
arg0 = xxx
opt0 = yyy

$ # 「[]」で囲った <opt> 分は省略可能
$ python test.py --arg0=xxx
arg0 = xxx
opt0 = None

$ # --arg0 は指定必須。フォーマットが違うと Usage 表示
$ python docopt_test.py yyy
Usage:
    docopt_test.py [-h | --help]
    docopt_test.py [-v | --version]
    docopt_test.py [<opt>] --arg0=<arg>

Python で Multi process (して、更に Signal で安全に終了させる)

概要

  • Python のマルチプロセス実装を試してみた。
  • 更に、signal を取り入れて「Ctrl + C」や「kill」で安全に全プロセスを終了させるようにしてみた。
続きを読む

PythonのConfigParserでカッチリとしたコンフィグ設定をする

概要

  • Pythonのモジュール「ConfigParser」を使うと、設定ファイルをパースして使えて便利!!
  • …なのだが、値は全て文字列なので、そこから適切な形に変換しないと――。
  • 別途設定ファイルのための設定を作り、制御できるようにしてみた。
続きを読む

Python のクラスメンバ設定には setattr が便利 (かも)

概要

  • Python のクラスメンバ設定の方法について調べてみた。
  • 引数が増えたときは、dictionary 使った方が良さそう。
  • 引数チェックするのにコード増える⇒効率良く書くには――
    • setattr うまく使うと楽に書ける!!
続きを読む

Chrome の画面を chrome extension で操作してみる。

概要

  • Chrome extension を使って、Popup 部から HTML の DOM を操作してみる。
    • とりあえず背景色を変化させてみる。
    • ( 将来的には、コレをベースに色々操作できるように―― )
続きを読む