稲田 直哉

• @methane
• msgpack-python
• エキスパート Python プログラミング
• これから Python 3 の本を書く

KLab株式会社

• スポンサーしてます
• We're hiring!

• ソース

  http://github.com/methane/pyconjp2012-gevent-slide

• スライド

  http://methane.github.com/pyconjp2012-gevent-slide

• Gevent の目的
• Gevent の特徴
• Gevent の仕組み
• Gevent を使おう

簡単かつ効率のいい IO多重化

複数のIO処理を並行に扱うこと.

• Webアプリ
• チャット
• 複数のファイルの tail
• たくさんのエロ画像のダウンロード

blocking IO

スレッドを止めてIOを待つ

スレッドを複数使うことで多重化

nonblocking IO

IOを待たないでエラーを返す.

複数のIOをまとめて待つ(selectなど)ことで多重化

実行可能になったIOに対応する処理を実行する イベントドリブン プログラム.

1クライアントとしか通信できない

import socket

def echo(sock):
    try:
        while True:
            data = sock.recv(1024) # 受信できるまでブロック
            if not data:
                break
            sock.sendall(data) # 送信できるまでブロック
    finally:
        sock.close()

def serve(addr):
    sock = socket.socket()
    sock.bind(addr); sock.listen(50)
    while True:
        conn, _ = sock.accept() # 接続されるまでブロック
        echo(conn) # 終わるまで帰ってこない

serve(('0.0.0.0', 4000))

並行処理したい関数をスレッドで包むだけ

import socket, threading

def echo(sock):
    try:
        while True:
            data = sock.recv(1024) # 受信できるまでブロック
            if not data:
                break
            sock.sendall(data) # 送信できるまでブロック
    finally:
        sock.close()

def serve(addr):
    sock = socket.socket()
    sock.bind(addr); sock.listen(50)
    while True:
        conn, _ = sock.accept()
        threading.Thread(target=echo, args=(conn,)).start()

serve(('0.0.0.0', 4000))

かなり面倒

echo_select.py

    #...
    def on_readable(self):
        while True:
            conn, _ = self.sock.accept()
            EchoHandler(conn)
    #...
    def on_readable(self):
        try:
            data = self.sock.recv(4096)
            if not data:
                self.close()
                return
            self.buf.append(data)
        finally:
            self._update()
    #...

基本はコールバック使ったイベントドリブンのまま。

from tornado import ioloop, iostream
from tornado.netutil import TCPServer

class EchoServer(TCPServer):
    def handle_stream(self, stream, addr):
        stream.read_until_close(
                lambda _: stream.close(), # 切断時コールバック
                stream.write, # データ受信コールバック
                )

def serve(addr):
    server = EchoServer()
    server.listen(addr[1], addr[0])
    ioloop.IOLoop.instance().start()

serve(('', 4000))

• echoサーバー

• Gevent vs Threading

  • パフォーマンス対決

• Gevent vs Tornado

  • 使いやすさ対決

from gevent.server import StreamServer

def handler(sock, addr):
    try:
        while 1:
            buf = sock.recv(4096)
            if not buf:
                return
            sock.sendall(buf)
    finally:
        sock.close()

def serve(addr):
    server = StreamServer(addr, handler, backlog=1024)
    server.serve_forever()

serve(('', 4000))

import gevent.monkey; gevent.monkey.patch_all()
import socket, threading

def echo(sock):
    try:
        while True:
            data = sock.recv(1024) # 受信できるまでブロック
            if not data:
                break
            sock.sendall(data) # 送信できるまでブロック
    finally:
        sock.close()

def serve(addr):
    sock = socket.socket()
    sock.bind(addr); sock.listen(50)
    while True:
        conn, _ = sock.accept()
        threading.Thread(target=echo, args=(conn,)).start()

serve(('0.0.0.0', 4000))

echo サーバーに 1000接続から1000回ずつ、

計100万回のメッセージを送受信.

threading: 34MB

gevent: 26MB

tornado: 12MB

select: 6.1MB

threading: 3.9GB

gevent: 41MB

tornado: 27MB

select: 21MB

32bit 環境では2GBしかメモリ空間がないので致命的(C10K問題). 64bit 環境では無視できる。

threading: 43sec

gevent: 53sec

tornado: 43sec

select: 25sec

2000接続から50回ずつ、計10万回リクエスト

send の手前で負荷をかけてみる

def stress(): # 18.6 ms
    def rec(n):
        if n:
            return rec(n-1)
    for i in xrange(100):
        rec(100)

スレッドのオーバーヘッド:

• 深い関数呼び出し => メモリ使用量が増える

• CPUを使う処理がたくさん並行する

  => 実行時間が増える

• たいていスレッドで十分

  ワクワクするから Gevent を使うというのはアリ :-)

• マルチコア・マルチスレッド・高負荷のとき

  スレッドのオーバーヘッドが大きい(GIL)場合は、 Gevent の方が安定した性能が出る.

• メモリを節約したい場面でも有効

Gevent

多くのライブラリがモンキーパッチで動く.

後から Gevent に対応するのも容易.

Tornado

最初から Tornado 用に設計されてないと対応が難しい.

例: PyMongo

gevent は monkey patch だけで動く

Tornado に対応させるために Motor が作られた。 (Gevent のような仕組みをTornadoで実現)

Tornado, Twisted, node.js はそれぞれイベントドリブンプログラミングのためのフレームワークとしてとてもおもしろい。

パフォーマンスについても、 Tornado や Twisted の方が若干軽く、しかも PyPy に対応できる。

Gevent は 今までと同じプログラムの書き方ができ、
既存のライブラリを対応させるのも容易

• Greenlet
• gevent.core
• gevent.hub

• スレッドごとに大きなスタックエリアを取らない
• スイッチのオーバーヘッドが軽い
• 高負荷時のスループット低下が無い

• 勝手にスイッチしない(スレッドセーフに書きやすい)

• ブロックするシステムコールを実行すると、ほかのスレッドに切り替えることができない

• マルチコアを活かせない

• gevent.thread -- thread の置き換え
• gevent.socket -- socket の置き換え
• gevent.select -- select の置き換え
• gevent.queue -- Queue の置き換え
• gevent.lock -- threading 内のロックの置き換え
• gevent.pywsgi -- wsgi サーバー
• gevent.monkey -- モンキーパッチ
• etc...

• イベントループ (core)
• コールバックから greenlet への橋渡し (hub)
• 標準ライブラリと互換性の高いモジュール群
• 標準ライブラリを置き換えるモンキーパッチ
• tcpserver, wsgiserver, 名前解決などのネットワークライブラリ
• その他 pool, Event, AsyncResult などのライブラリ

• WebSocket対応
• Comet (long polling) 対応
• Streaming API 対応
• その他、アプリの機能の一部として大量接続が必要になるケース.
• その他、メモリを節約したかったりGILに悩んでいるケース.

Python 3

• 必要性は認識されているが、現在は 1.0 の完成に注力されている.

PyPy

• greenlet は PyPy の continuelet に置き換えればいい。

• gevent.core の PyPy 向け実装が今朝投稿された。

  PyPy 最新開発版の FFI を使っているので 1.9 じゃ動かない

チュートリアル

http://sdiehl.github.com/gevent-tutorial

日本語訳

http://methane.github.com/gevent-tutorial-ja

Github

https://github.com/SiteSupport/gevent

公式サイト

http://gevent.org/