雑食性雑感雑記

知識の整理場。ため込んだ知識をブログ記事として再構築します。

Boost.numpy ことはじめ その2 (戻り値)

C++ Boost NumPy Python

前回まででPythonからサンプルを使ってみることができるようになった。

今回は、2次元numpy配列をC++側で作成し、Python側に戻せるようにしてみる。

サンプル

「行列サイズを指定し、そのサイズにあった2次元numpy行列を返す」サンプルを作ってみる。

ディレクトリ構成

<root directory>
    - sample.cpp
    - CMakeLists.txt

sample.cpp

np::zeros を使ってゼロ配列を作成し、そこに値を入れ込む形で実装する。(場合によってはもっと高速な方法あるかもだけどとりあえず。)
2次元ができてしまえば、1次元はもっと簡単なので省略。

ポイント :

  • np::zeros の引数は「shape のサイズ、shape、タイプ」。基本的にはPythonのものと同じ。
  • 1次元vectorでデータを用意し、std::copyでデータを移す。
#include "boost/python/numpy.hpp"
#include <stdexcept>
#include <algorithm>

namespace p = boost::python;
namespace np = boost::python::numpy;

std::vector<double> func(int row, int col)
{
    std::vector<double> v;

    int count = 0;
    for (int y = 0; y < row; y++) {
        for (int x = 0; x < col; x++) {
            v.push_back(count++);
        }
    }

    return v;
}

np::ndarray retvec(int row, int col)
{
    std::vector<double> v = func(row, col);
    Py_intptr_t shape[2] = {row, col};
    np::ndarray result = np::zeros(2, shape, np::dtype::get_builtin<double>());
    std::copy(v.begin(), v.end(), reinterpret_cast<double*>(result.get_data()));
    return result;
}

/* BOOST_PYTHON_MODULE の引数は .so 名 */
BOOST_PYTHON_MODULE(libsample) {
    Py_Initialize();
    np::initialize();
    p::def("retvec", retvec);
}

ビルド

CMakeLists.txtは前回と同じなので割愛。

mkdir build
cd build
cmake ..
make

実行

ipython3で実行

ipython3
In [1]: import libsample as s

In [2]: import numpy as np

In [3]: a = s.retvec(3, 2)

In [4]: a
Out[4]: 
array([[0., 1.],
       [2., 3.],
       [4., 5.]])

3行2列の配列ができた！！

まとめ

前回と合わせて、
・ Boost.Numpy の実行
・ (C++で処理して) numpy 配列を戻す
ところまでできた。

ここまでで大体の処理はC++化して高速化できそう。

参照

Boost.numpy ことはじめ

C++ Boost NumPy Python

以前から「Boost.numpy」というのが便利というのを聞いていたがなかなか使って見る機会が無く。。
他のブログ等検索したが、自分にちょうど良さそうな記事が見つからなかったので整理しつつ事始めしてみる。

Ubuntu16.04で環境構築から始めて、簡単なサンプルをcmakeビルドし、Pythonで呼び出すところまで。

Boost.numpy

Boost 1.63 辺りから追加された機能。
C++ boost code ⇔ Python 間で numpy 配列を受け渡し、
　　Python だと遅いところは C++ で操作
　　C++ で記述が面倒なところは Python で操作
することができる。

環境

  • Ubuntu16.04
    • Python3.5
    • ( boost は 1.58 が apt-get により既に導入済み )
    • その他
      • CMake 3.5 ( ソースコードからビルドで導入 )

環境構築

最新版 Boost

/opt 上に boost 環境を構築した。書いた時点で最新は1.67。
デフォルトだとPython2.7の方に行ってしまうので、bootstrap にてPython3を使うようにしてあげる。
環境汚さないように、ビルドしたものは /opt 内に。

sudo su - 
cd /opt/
wget https://dl.bintray.com/boostorg/release/1.67.0/source/boost_1_67_0.tar.gz
tar zxvf boost_1_67_0.tar.gz
cd boost_1_67_0
./bootstrap.sh --with-python-version=3.5
./b2 --prefix=/opt/boost_1_67_0 install

確認

find / -name *boost_numpy*
( 中略 )
/opt/boost_1_67_0/lib/libboost_numpy35.so

使ってみる

サンプルソースコード

参照1のコードを使わせてもらう。インクルード等ちょっと修正。
ポイント :

  • BOOST_PYTHON_MODULE の第一引数にはPythonで実行時のモジュール名。
    • 後で cmake ビルドで「lib~」となるので見越した名前を付ける。

sample.cpp

#include "boost/python/numpy.hpp"
#include <stdexcept>
#include <algorithm>

namespace p = boost::python;
namespace np = boost::python::numpy;

/* 2倍にする */
void mult_two(np::ndarray a) {
  int nd = a.get_nd();
  if (nd != 1)
    throw std::runtime_error("a must be 1-dimensional");
  size_t N = a.shape(0);
  if (a.get_dtype() != np::dtype::get_builtin<double>())
    throw std::runtime_error("a must be float64 array");
  double *p = reinterpret_cast<double *>(a.get_data());
  std::transform(p, p + N, p, [](double x) { return 2 * x; });
}

/* BOOST_PYTHON_MODULE の引数は .so 名 */
BOOST_PYTHON_MODULE(libsample) {
  Py_Initialize();
  np::initialize();
  p::def("mult_two", mult_two);
}

ビルド設定

CMake でビルド。
ポイント :

  • boost は独自インストールなので、それに対応した読み込み。

CMakeLists.txt

project(sample)
cmake_minimum_required(VERSION 3.0)

set(BOOST_ROOT /opt/boost_1_67_0)


### C++11
add_compile_options(-std=c++11)

### pkgconfig (for pkg_check_modules)
find_package(PkgConfig REQUIRED)

### Python includes
pkg_check_modules(PYTHON3 python3 REQUIRED)
include_directories(${PYTHON3_INCLUDE_DIRS})

### Boost includes
include_directories(${BOOST_ROOT}/include)
link_directories(${BOOST_ROOT}/lib)

### Build
add_library(sample SHARED sample.cpp)
set_target_properties(sample PROPERTIES SUFFIX ".so")

target_link_libraries(sample boost_numpy35 boost_python35)

ちなみに、ここまでのディレクトリ構成は

<root directory>
    - sample.cpp
    - CMakeLists.txt

となっている想定。

root directoryのところからビルドする。

mkdir build
cd build
cmake ..
make

正常にビルドされると libsample.so ができる。

実行

読み込んでみる。 (ipython3)

ipython3
In [1]: import libsample as s

In [2]: import numpy as np

In [3]: a = np.array([1.0, 2.0], np.float64)

In [4]: s.mult_two(a)

In [5]: a
Out[5]: array([2., 4.])

まとめ

Boost.Numpy の実行試せた。
CMake とのつなぎ方も分かったし、これで複雑なコードも気楽にビルドできるでしょう。
( そこまで複雑な処理を作れるかどうかはともかく。。 )

参照

Python で使うと便利なライブラリ (2016/08/18 更新)

Python all any docopt collections

Python で便利だと思って使うようになったライブラリのメモ。
知識増えて使えるようになったら随時更新 (最終更新 2016/08/18)

標準ライブラリ

all, any

t = [True, True, True]
f = [True, True, False]

print(all(t)) # True
print(all(f)) # False
print(any(f)) # False

  • 2つのリストのチェックに使ってみた
la = [1, 2, 3]
lb = [1, 2, 4]

### All 関数なし
flag = False
if len(la) == len(lb) :
    flag = True
    for a, b in zip(la, lb) :
        if a != b :
            flag = False
            break
print(flag)


### All 関数あり。
print(len(la) == len(lb) and all([a == b for a, b in zip(la, lb)]))

collections.defaultdict

  • 例えば数え上げ処理
import random
data = [random.randint(0, 10) for i in range(100)]

### defaultdict 無し
counter01 = {}
for datum in data :
    if datum not in counter01 :
        counter01[datum] = 1
    else :
        counter01[datum] += 1

print(counter01)


### defaultdict あり
from collections import defaultdict
counter02 = defaultdict(int)
for datum in data :
    counter02[datum] += 1

print(counter02)

3rd Party

docopt

# -*- coding: utf-8 -*-

from docopt import docopt

__doc__ = """
Description:
    Docopt test module
    日本語説明も大丈夫

Usage:
    {f} [-h | --help]
    {f} [-v | --version]
    {f} [<opt>] --arg0=<arg>

Options:
    -h --help      Show this screen.
    --version      Show version.
    <opt>          Option0
    --arg0=<arg>   Argument0
""".format(f = __file__)


if __name__ == '__main__' :

    args = docopt(__doc__, version = "0.0.1")
    print("arg0 = {0}".format(args["--arg0"]))
    print("opt0 = {0}".format(args["<opt>"]))

  • 実行結果
$ python test.py yyy --arg0=xxx
arg0 = xxx
opt0 = yyy

$ # 「[]」で囲った <opt> 分は省略可能
$ python test.py --arg0=xxx
arg0 = xxx
opt0 = None

$ # --arg0 は指定必須。フォーマットが違うと Usage 表示
$ python docopt_test.py yyy
Usage:
    docopt_test.py [-h | --help]
    docopt_test.py [-v | --version]
    docopt_test.py [<opt>] --arg0=<arg>

Python で Multi process (して、更に Signal で安全に終了させる)

Python マルチプロセス Multi process

概要

  • Python のマルチプロセス実装を試してみた。
  • 更に、signal を取り入れて「Ctrl + C」や「kill」で安全に全プロセスを終了させるようにしてみた。
続きを読む

PythonのConfigParserでカッチリとしたコンフィグ設定をする

Python ConfigParser

概要

  • Pythonのモジュール「ConfigParser」を使うと、設定ファイルをパースして使えて便利！！
  • …なのだが、値は全て文字列なので、そこから適切な形に変換しないと――。
  • 別途設定ファイルのための設定を作り、制御できるようにしてみた。
続きを読む

Python のクラスメンバ設定には setattr が便利 (かも)

Python

概要

  • Python のクラスメンバ設定の方法について調べてみた。
  • 引数が増えたときは、dictionary 使った方が良さそう。
  • 引数チェックするのにコード増える⇒効率良く書くには――
    • setattr うまく使うと楽に書ける！！
続きを読む