tips-Motivation Driven Development

subprocess module使って外部コマンド起動する時にオプションを区切って入れるのが面倒

以下↓↓↓みたいなやり方で配列作成すると楽できる


>>> import shlex, subprocess
>>> commandline = input()
ffmpeg -f image2 -r 10 -i %3d.png -r:v 10 -crf 18 -an -s:v 640x368 -pix_fmt yuv420p -vcodec libx264 invisible.mp4
>>> args = shlex.split(commandline)
>>> args
　['ffmpeg', '-f', 'image2', '-r', '10', '-i', '%3d.png', '-r:v', '10', '-crf', '18', '-an', '-s:v', '640x368', '-pix_fmt', 'yuv420p', '-vcodec', 'libx264', 'invisible.mp4']
>>> exit()

Ruby RSS::MakerでCDATAを扱えるようにしてみる [ruby] [sample_code] [tips]

RubyのRSS::MakerでRSS1.0生成すると、content:encodedが自動的にhtml_escapeされてしまい、CDATAとして埋め込んでくれないので、モンキーパッチングしてみた。

rss_cdata.rb


require 'rss'

module RSS
  module BaseModel
    def install_cdata_element(tag_name, uri, occurs, name=nil, type=nil, disp_name=nil)
      name ||= tag_name
      disp_name ||= name
      self::ELEMENTS << name
      add_need_initialize_variable(name)
      install_model(tag_name, uri, occurs, name)

      def_corresponded_attr_writer name, type, disp_name
      convert_attr_reader name
      install_element(name) do |n, elem_name|
        <<-EOC
        if @#{n}
          rv = "\#{indent}<#{elem_name}>"
          value = "<![CDATA[" + eval("@#{n}") + "]]>"
          if need_convert
            rv << convert(value)
          else
            rv << value
          end
          rv << "</#{elem_name}>"
          rv
        else
          ''
        end
EOC
      end
    end
  end 
  
  module ContentModel
    def self.append_features(klass)
      super 
      
      klass.install_must_call_validator(CONTENT_PREFIX, CONTENT_URI)
      %w(encoded).each do |name|
        klass.install_cdata_element(name, CONTENT_URI, "?", "#{CONTENT_PREFIX}_#{name}")
      end
    end
  end 
  
  class RDF
    class Item; include ContentModel; end
  end
end

試してみる


require 'rss'
require './rss_cdata'
 
rss = RSS::Maker.make("1.0") do | maker |
  maker.channel.about = "http://hoge.fuga/index.rdf"
  maker.channel.title = "harahoro"
  maker.channel.description = "hirehare"
  maker.channel.link = "http://hoge.fuga/"
  item = maker.items.new_item
  item.link = "http://hoge.fuga/piyo.html"
  item.title = "aheaheuhiha"
  item.content_encoded = "<p>aheuhihaaa</p>"
  item.dc_date = Time.now()
end 
puts rss.to_s

結果


<?xml version="1.0" encoding="UTF-8"?>
<rdf:RDF xmlns:image="http://web.resource.org/rss/1.0/modules/image/"
  xmlns:taxo="http://purl.org/rss/1.0/modules/taxonomy/"
  xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
  xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
  xmlns:dc="http://purl.org/dc/elements/1.1/"
  xmlns:content="http://purl.org/rss/1.0/modules/content/"
  xmlns:trackback="http://madskills.com/public/xml/rss/module/trackback/"
  xmlns="http://purl.org/rss/1.0/">
  <channel rdf:about="http://hoge.fuga/index.rdf">
    <title>harahoro</title>
    <link>http://hoge.fuga/</link>
    <description>hirehare</description>
    <items>
      <rdf:Seq>
        <rdf:li resource="http://hoge.fuga/piyo.html"/>
      </rdf:Seq>
    </items>
    <taxo:topics>
      <rdf:Bag/>
    </taxo:topics>
  </channel>
  <item rdf:about="http://hoge.fuga/piyo.html">
    <title>aheaheuhiha</title>
    <link>http://hoge.fuga/piyo.html</link>
    <content:encoded><![CDATA[<p>aheuhihaaa</p>]]></content:encoded>
    <dc:date>2009-12-02T13:14:24+09:00</dc:date>
    <taxo:topics>
      <rdf:Bag/>
    </taxo:topics>
    <content:encoded><![CDATA[<p>aheuhihaaa</p>]]></content:encoded>
  </item>
</rdf:RDF>

どうよ。

Perlでバイナリをいじるためのいろいろ [perl] [tips]

Perlでバイナリファイルをいじる場合にいろいろと同じ問題に遭遇するので、忘れないようにメモ。

バイナリファイルの読み込み

読み込む場合に”getc”使うと、ファイルが終わってないのに終了してしまうことがある。
正しくは”read”を使う。


my $filename = $ARGV[0];
open my $file,'<',$filename or die;
binmode $file; 
my $val;
while(read($file, $val, 1)){
}

これで1byteづつ処理できる。実際はバイナリの構造にあわせてreadするバイト数を変える。

読んだバイナリの処理

バイナリを数値として処理するためには、その構造にあわせてunpackする。


unpack("C",$val); #unsigned byte
unpack("S",$val); #unsigned short
unpack("L",$val); #unsigned long
unpack("c",$val); #signed byte
unpack("s",$val); #signed short
unpack("l",$val); #signed long

bit処理の場合は、いろいろ問題がある。
ビット反転”~”は、ビット長にあわせてpackしてから処理する。


~pack("c",$i); # $iは数値。一旦byteにしてからビット反転

ビットの”&(and),|(or),^(xor)”は、両方同じビット長にする。
もしくはunpackしてから処理する(unpackしても同じビット長(環境依存)になるからね)


pack("s",$j) ^ pack("s",$i); # $i,jは数値。両方shortにしている
unpack("s",$val) ^ $i; # $valは読んだバイナリ,$iは数値。

ビットシフト”«”, “»“は、数値化(unpack)してからじゃないと動かない。。。(何故？)


unpack("S",$i) << 1

と、いうことで、実は「ビット反転」以外はunpackして処理する。ということ。
例として、μ-lawとPCMの変換(なんのこっちゃ？という人はwavファイルの勉強を。。)


my $mantissa = unpack("C",~$val); #$valが読み込んだバイナリ
my $sign = (unpack("C",$val) < (0x0080))? -1:1;
my $exponent = ($mantissa >> 4) & (0x0007);
my $segment = $exponent + 1;
$mantissa = $mantissa & (0x000F);
my $step = (0x0004) << $segment;
my $g191_value = pack("S",$sign * (((0x0080) << $exponent) + $step*$mantissa + $step/2 - 4*33));
#最後に"S"でpackしてunsigned shortに

バイナリの書き出し

書き出したい構造にあわせてpackしてやる。
wavファイルのヘッダとかだとこうなる。


my $form = "";
$form .= "RIFF";
$form .= pack("L",$size + 36); #data size + headersize(-8) 
$form .= "WAVE";
$form .= "fmt ";
$form .= pack("L",16); #fmt chunk size
$form .= pack("S",1); # pcm
$form .= pack("S",1); # mono
$form .= pack("L",8000); # 8k sampling
$form .= pack("L",16000); # Byte/sec = sampling * 2byte(16bit 量子化) * 1(mono)
$form .= pack("S",2); # Byte/sample(8bit量子化) * channel(mono)
$form .= pack("S",16); # 8bit量子化
$form .= "data";
$form .= pack("L",$size); #data size

おまけ

signedとunsignedを変換するにはpackしてunpackというややこしい方法が必要。


my $i = -100;  
my $unsigned_value = unpack("C",pack("c",$i));

wav関連でもぞもぞしてるのバレバレですね。

ゲートウェイルータ冗長化(VRRP, HSRP)とNATの共存(cisco) [network] [tips]

ルータの冗長化の方式としてVRRPとHSRP(Cisco only)がある。
これは、通常「マスター側ルータ」がarp応答するのに対し、マスターダウン時には「スタンバイ側ルータ」がarp応答するようになって対応するというもの。

で、これにNATを組み合わせて下図のように組もうとすると、問題が起こった。



+-----------+     +-----+    192.168.1.251 +-------+ 192.168.10.251
|my server  |-----|L2 SW|------------------|Master |-----
|192.168.1.1|     |     | Virtual Router   +-------+ 
+-----------+     |     | (192.168.1.254)
                  |     |                  +-------+
                  |     |------------------|Standby|-----
                  +-----+    192.168.1.250 +-------+ 192.168.10.250
 
        	                            NAT変換:
                                  192.168.1.1 <=> 192.168.10.1

VRRPの場合の設定(f0が外側)


Router1(config)# track 1 interface f0 line-protocol
Router1(config)# int f1
Router1(config-if)#vrrp 1 ip 192.168.1.254
Router1(config-if)#vrrp 1 priority 150
Router1(config-if)#vrrp 1 track 1 decrement 100
Router1(config-if)#ip nat inside
Router1(config)# int f0
Router1(config-if)#ip nat outside
 
Router2(config)# int f1
Router2(config-if)#vrrp 1 ip 192.168.1.254
Router2(config-if)#ip nat inside
Router2(config)# int f0
Router2(config-if)#ip nat outside
 
Router1/2共通(config)# ip nat inside source static 192.168.1.1 192.168.10.1

問題は、Standby側のルータがNAT設定したIPのarpに応答してしまい、duplicate addressとなってしまう問題。
HSRPでは、NATのredundancyオプションを利用して回避できる。(NATのredundancyオプションにstandbyで設定した名前を指定する)

HSRPの場合の設定(f0が外側)


Router1(config)# track 1 interface f0 line-protocol
Router1(config)# int f1
Router1(config-if)#standby 1 ip 192.168.1.254
Router1(config-if)#standby 1 priority 150
Router1(config-if)#standby 1 track 1 decrement 100
Router1(config-if)#standby 1 preempt
Router1(config-if)#standby 1 name hsrp1
Router1(config-if)#ip nat inside
Router1(config)# int f0
Router1(config-if)#ip nat outside
 
Router2(config)# int f1
Router2(config-if)#standby 1 ip 192.168.1.254
Router2(config-if)#standby 1 preempt
Router2(config-if)#standby 1 name hsrp1
Router2(config-if)#ip nat inside
Router2(config)# int f0
Router2(config-if)#ip nat outside
 
Router1/2共通(config)# ip nat inside source static 192.168.1.1 192.168.10.1 redundancy hsrp1

VRRPでも、descriptionを設定してredundancyやればできるはずなんだけど、できなかった。

久々のネットワークねたでした。

Railsのmodelをカスタマイズしてメソッドの呼び出しにオプションを追加する [rails] [tips]

Railsである特定のmodelの検索(find)時に必ずsortをかけたいというような場合には、modelのfindをカスタマイズするのが便利。


class Hoge < ActiveRecord::Base
  class << self
    alias_method :find_org, :find
    def find(*params)
      options = {:order => "fuga desc"}
      options.update(params.last.is_a?(::Hash)? params.pop : {})
      find_org(*params.push(options))
    end
  end
end

もとのfind(find_org)を呼び出すときに、paramsを’*‘でもとに戻すの忘れてえらい目にあった。

Railsのvalidationの流れをもうちょっと細かく [rails] [tips]

ActiveRecord::Errors関係をいろいろいじりたいと思って、まずは、ActiveRecord::Validationをかじってみた。
Validationの流れの参考にでもなれば。

ActiveRecord::Baseが、Module ActiveRecord::Validationsをinclude
ActiveRecord::Validationsでは、

validate, validate_on_create, validate_on_updateのそれぞれのメソッドを定義。
これらのメソッド呼び出しにより、個々のvalidatorをCallbackChainに登録できる
(validate do |record| true;end とやると validate_callback_chainにこのブロックが登録される。)

これらのメソッドを利用して
validates_each, validates_confirmation_of, vaidates_acceptance_of, vaidates_presence_of, validates_length_ofをCallbackChainに登録
:save_with_validation :save_with_validation! を定義
valid?メソッド経由でcallbackchainを順番に呼び出し
alias_method_chainによるsaveのリプレース

alias_method_chain :save, :validation
alias_method_chain :save!, :validation
これにより
save => save_with_validation, save! => save_with_validation!
オリジナルのsave/save!は、
:save_without_validation , :save_without_validation!
にalias

最終的に、save/save!を契機にvalidation関連が呼ばれる。

だいたいそんな感じっぽい

参考:

validations.rb

ActiveRecord::Validations
ActiveRecord::Errors

callbacks.rb

ActiveSupport::Callbacks

メールアドレスのバリデーション by Ruby [ruby] [tips] [sample_code]

javascriptによる簡易regexでは対応できないケースがでてしまったので、いろいろ参考にしつつruby版を作った。


require 'resolv'
require 'pp'

class MailAddressValidator
  def self.validate(address)
    return validate_by_regex(address) && validate_by_MX(address)
  end
  def self.validate_by_regex(address)
    addr_spec = %r{^(?:(?:(?:(?:[a-zA-Z0-9_!#\$\%&'*+/=?\^`{}~|\-]+)(?:\.(?:[a-zA-Z0-9_!#\$\%&'*+/=?\^`{}~|\-]+))*)|(?:"(?:\\[^\r\n]|[^\\"])*")))\@(?:(?:(?:(?:[a-zA-Z0-9_!#\$\%&'*+/=?\^`{}~|\-]+)(?:\.(?:[a-zA-Z0-9_!#\$\%&'*+/=?\^`{}~|\-]+))*)|(?:\[(?:\\\S|[\x21-\x5a\x5e-\x7e])*\])))$}
    address =~addr_spec
  end
  def self.validate_by_MX(address)
      mxdomain = address[/[^@]+$/]
      Resolv::DNS.new.getresource(mxdomain,Resolv::DNS::Resource::IN::MX) rescue nil
  end
  private_class_method :validate_by_regex, :validate_by_MX
end

使うときはこんな感じ


require File.dirname(__FILE__) + '/mail_address_validator'
print (MailAddressValidator.validate('hogefuga@hogefugadennnenn.naiyo')) 'ok':'ng' #=> ng

これをつかって、同期Ajaxでチェックしてる。
日本語が変だな。。。要は javascriptでxmlhttprequest.open(‘GET’,”xxxxxx”, false)という形で同期的にチェックしてる。

参考:
http://blog.livedoor.jp/dankogai/archives/51189905.html
http://www.ruby-lang.org/ja/man/html/resolv.html

追記 2009-04-13:
spellミスを直しました。id:Uchimataさんありがとうございます。
はてなブックマークがはじめてコメント欄として機能した記念すべき日です。

ActionMailerでメール送信@Sakuraレンタルサーバ [ruby] [tips] [sample_code]

Railsを使わないで、rubyからActionMailerでメールを送信したくなったので、やり方のメモ。
ActionMailerは、gemでインストール済みと仮定。

Sakuraレンタルサーバ(さくら)の場合、”POP before SMTP”なので、送信前にpop認証が必要となります。


require 'rubygems'
require 'action_mailer'
require 'net/pop'

class MyMailer < ActionMailer::Base
  alias_method :base_perform_delivery_smtp, :perform_delivery_smtp
  @@pop3_auth_done = nil
  def self.setup_for_sakura
    self.delivery_method = :smtp
    self.smtp_settings = {
      :address => 'xxx.sakura.ne.jp',
      :port => 587,
      :domain => 'xxx.sakura.ne.jp',
      :pop3_auth => {
        :server => 'xxx.sakura.ne.jp',
        :user_name => 'hoge@xxx.sakura.ne.jp',
        :password => 'passw0rd',
        :expires => 1.hour,
        :authentication => :login
      }
    } 
    self.template_root = File.dirname(__FILE__) + "/templates"
    self.perform_deliveries = true
  end
  def mail_contents(user,contents)
    from "hoge <hoge@xxx.sakura.ne.jp>"
    recipients "#{user} <#{user}>"
    subject "日本語タイトルほげふが"
    body :user => user, :contents => contents
  end
  private
  def perform_delivery_smtp(mail)
    do_pop_auth if !@@pop3_auth_done or (Time.now - smtp_settings[:pop3_auth][:expires]) >= @@pop3_auth_done
    base_perform_delivery_smtp(mail)
  end
  def do_pop_auth
    pop = Net::POP3.new(smtp_settings[:pop3_auth][:server])
    pop.start(smtp_settings[:pop3_auth][:user_name], smtp_settings[:pop3_auth][:password])
    @@pop3_auth_done = Time.now
    pop.finish
  end
end

で、./templates/my_mailer/mail_contents.erbに、テンプレートを適当に作成。


<%= @user %> 様
<%= @contents[:hello] %>ですねん。
ほな

これを利用する側はこんな感じ。


require 'rubygems'
require File.dirname(__FILE__) + "/my_mailer"
MyMailer.setup_for_sakura
MyMailer.deliver_mail_report('user@hogefuga.com', {:hello => "こんにちは"})

rubygemsへのパスが通ってない場合は、$LOAD_PATH.push(“パス”), ENV[‘GEM_HOME’] = “パス”、でライブラリ及びGEM_HOMEのパスを通しておきましょう。

参考: http://railsforum.com/viewtopic.php?pid=47672

Perlのオブジェクト内関数の間接的な呼び出し [perl] [tips]

以下の方法では動かない。


package hoge; 
sub new{
  my $class=shift;
  my $self={'msg2' => 'harahoro','hoge' => \&hoge};
  bless $self,$class;
  return $self;
} 
sub fuga{
  my $self=shift;
  my $msg =shift;
  my $classname=ref $self;
  print "from $classname : hello! $msg\n"; 
} 
sub hoge{
  my $self=shift;
  my $msg = shift;
  print "I am calling fuga\n";
  $self->fuga("hoge : $msg and ". $self->{"msg2"});
} 
1;
package main; 
my $moga=hoge->new;
$moga->{'hoge'}->('self hash');

当然、以下も動かない。


package hoge; 
sub new{
  my $class=shift;
  my $self={'msg2' => 'harahoro'};
  bless $self,$class;
  $self->init;
  return $self;
} 
sub init{
  my $self=shift;
  $self->{"hoge"} = \&hoge;
} 
sub fuga{
  my $self=shift;
  my $msg =shift;
  my $classname=ref $self;
  print "from $classname : hello! $msg\n"; 
} 
sub hoge{
  my $self=shift;
  my $msg = shift;
  print "I am calling fuga\n";
  $self->fuga("hoge : $msg and ". $self->{"msg2"});
} 
1;
package main; 
  my $moga=hoge->new;
  $moga->{'hoge'}->('self hash');

以下の２点が問題

$self->funcのリファレンス取得方法がない
\&funcとするとinvocantが渡らない

なので、以下のような解決方法になる。


package hoge;
sub new{
  my $class=shift;
  my $self={'msg2' => 'harahoro'};
  bless $self,$class;
  $self->init;
  return $self;
} 
sub init{
  my $self=shift;
  $self->{"hoge"} = $self->hoge_invocant;
} 
sub fuga{
  my $self=shift;
  my $msg =shift;
  my $classname=ref $self;
  print "from $classname : hello! $msg\n"; 
} 
sub hoge_invocant{
  my $invocant=shift;
  return sub {  hoge($invocant, @_);};
} 
sub hoge{
  my $self=shift;
  my $msg = shift;
  print "I am calling fuga\n";
  $self->fuga("hoge : $msg and ". $self->{"msg2"});
} 
1;
package main; 
my $moga=hoge->new; 
$moga->{'hoge'}->('self hash');

hoge_invocantが
「invocantをレキシカルクロージャとして保持しhogeをinvocantつきで呼び出す無名関数」
を返す。
ここで無名関数を使うべきだということに気付いた。


sub init{
  my $self=shift;
  $self->{"hoge"} = sub {hoge($self, @_);};
}

追記～～
<iframe id=”4873112036”src=”http://motivation.drivendevelopment.jp/amazon_query_proxy/queryproxy_ruby.cgi?ItemId=4873112036” onload=”fitFrame(this.id)” frameborder=”0” width=”100%”></iframe>
本屋で↑を立ち読みしたら(買え！　＞＞俺) 載ってた。
同じ結論になってたようなので、買わなくてもいいってことか？
～～追記終わり

Rails dbの fixtures形式バックアップ [rails] [tips]

こんなのをlibに入れて利用してる。


module YamlFixture
def record_to_yaml_fixture(rec_class_name)
  eval(rec_class_name).find(:all).inject({}){|h, v| h.merge(v.attributes["id"] => v.attributes)}.to_yaml
  end
end

rails to_json と to_yaml [rails] [tips]

to_jsonのときはattributesを取り出してjson化してる。
to_yamlのときはオブジェクトそのものをyaml化してる。
なので、
@items.to_json
と
@items.attributes.to_yaml
が等価

ということかな。

英語キーボードで半角/全角キーを変更 [windows] [tips]

英語キーボードで日本語入力するときいちいち
左Alt + ~ (チルダ)
とかめんどくさいので、変更した。(AXキーボードのドライバを使うパターンで)

(会社のPCの設定をそのままもってきた。Webで調べたらみんなそうしてるみたい。)

regedit


HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\i8042prt\Parameters 
LayerDriver JPN : REG_SZ : kbdax2.dll
OverrideKeyboardIdentifier: REG_SZ : AX_105KEY
OverrideKeyboardSubtype: REG_DWORD : 0x00000001 (1)
OverrideKeyboardType: REG_DWORD : 0x00000007 (7)

あと、CAPS -> Ctrlへの変換も忘れないように書いておく


HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Keyboard Layout
Scancode Map : REG_BINARY
0000  00 00 00 00 00 00 00 00
0008  02 00 00 00 1D 00 3A 00
0010  00 00 00 00

今のCtrlはCtrlのまま変更しない

PC買ったら必ずやる。

バッチファイルのショートカットアイコン設定 [dos] [tips]

バッチファイルのアイコンとか、.jarのアイコンとかを変更する方法。(かなり前のメモ)

Javaのアプリケーションで利用される”.jar”ファイルは、Windowsではファイルの関連付けの機能でjavawに関連付けされ、全て同一のアイコンに設定されています。
バッチファイルも、同様に変な歯車のアイコンに設定されています。

これでは、アイコンがどのアプリケーションでも同じになってしまい、プロフェッショナルな感じがしません。
そこで、JScript (JavaScriptに似て非なるWindowsのスクリプト)を用いてアイコン付きのショートカットを作成する方法で解決します。
用意するもの。

アプリケーションを起動するためのバッチファイル。(.batファイル)
アイコンファイル(.ico)(フリーウェアなどで作成)
JScriptファイル(以下に記述)

上記を同一フォルダにおいてJScriptをダブルクリックで実行する形になります。
JScriptファイル内容(makeShortcut.js):
hello.batをhello.lnk/hello.icoと関連付けてデスクトップに作成する場合


Shell = new ActiveXObject("WScript.Shell");
DesktopPath = Shell.SpecialFolders("Desktop"); //デスクトップにショートカット作成
link = Shell.CreateShortcut(DesktopPath + "\\hello.lnk");
link.Arguments = ""; // .batファイルに引数を渡す場合ここに記述
link.Description = "hello.bat shortcut";
link.HotKey = "";
link.IconLocation = Shell.CurrentDirectory + "\\hello.ico";
link.TargetPath = Shell.CurrentDirectory + "\\hello.bat";
link.WindowStyle = 3;
link.WorkingDirectory = Shell.CurrentDirectory;
link.Save();

multipartメールのbase64の解凍方法 [perl] [tips]

multipart/mixedのメールが複数分割されて送られてきました。メール本文は空っぽで、全て添付ファイルになっていました。
どうやら、outlook expressで送信した場合に起こる現象のようですが、こちらで読めないので困ってしまいます。

中身を見ると、テキストの本文に続き、


Content-Type: application/octet-stream;
Content-Transfer-Encoding: base64

となっていて、この部分以降に怪しげな文字列が延々と続いています。

この部分以降は、base64でエンコードされたバイナリ添付ファイルなわけです。

この部分を取り出してエンコードを解けば(デコードすれば)、添付されていたファイルを復活できるはずです。

で、perlの出番です。

Step1:base64部分だけのファイルを作る


> ls
xxx[1_3].dat
xxx[2_3].dat
xxx[3_3].dat
> cat *.dat > abc.dat
> vim abc.dat
#ここで、必要な部分(怪しげな文字列の部分)以外を削除

Step2: perlでデコード
Perlのソース


#!/usr/bin/perl -w
use MIME::Base64;
binmode STDOUT,'raw';
binmode STDIN,'raw'; 
while(<>){
  print decode_base64($_);
}

楽勝だね。

CGIでリファラ(HTTP_REFERER)を取る方法 [perl] [javascript] [tips]

あいかわらず、初歩的なところにいます。。。(-_-;)
perlのCGIでアクセス解析のためにリファラ(訪れた人が前に見ていたページ)を取ろうとしてたのですが、検索サイトによって文字が化けたりしてたので、utf8に統一してみようということで、以下のようにしました。

ページに埋め込むjavascript


<script language="JavaScript">
  <!--
    document.write('<img src="http://hoge.fuga.funya/access.cgi?rr=' + escape(document.referrer) + '" />');
  // -->
</script>

imgタグ内でアクセス解析用のcgiを呼んでいます。cgi側でHTTP_REFERERを取ると、このスクリプトを入れたページ自身になるので、パラメータとしてrrにリファラを入れています。

cgi側(perl)


#!/usr/bin/perl -w
use strict;
use CGI;
use Encode;
use Encode::Guess qw/euc-jp shiftjis 7bit-jis/;
use utf8; 

my $file="access.log";

my $q=new CGI;
my $ref = url_decode($q->param('rr')); #前のページ
my $referer = url_decode($q->referer()); #見られてるページ

my $result="\"$ref\",\"$referer\"\n";

open(FILE,">>:encoding(utf8)", $file) or error($q, "can't open");
print(FILE $result);
close(FILE); 

&printimg;
exit;
 
sub url_decode{
  my $str = shift;
  return 'hoge' unless $str;
  $str =~ tr/+/ /;
  $str =~ s/%([0-9A-Fa-f][0-9A-Fa-f])/pack('H2', $1)/eg;
  my $decoder = Encode::Guess->guess($str);
  return $decoder->decode($str) if(ref($decoder));
  return decode("utf8",$str);
}
sub printimg{
  open(COUNTERIMG, "./counter.gif") or error($q, "can't open");
  binmode(COUNTERIMG);
  print "Content-type: image/gif\n\n";
  print <COUNTERIMG>;
  close(COUNTERIMG);
}

urlエンコードされた文字を一旦もどしてからEncode::Guessでデコードしてファイルに書き込んでいます。
これにより、文字コードが統一されます。

urlエンコードをデコードするときにpackを利用しているのでutf8フラグ関係が心配なので、utf8フラグをつける前にurlデコードしています。

最後にimgを転送して終了。
なんか美しくないけど、動く。

Unixのフォアグラウンドとかバックグラウンドとか(fg/bg/jobs) [unix] [tips]

すぐ忘れるのでメモ。


>xxxx &   #バックグラウンドで実行
>jobs     #バックグラウンドで動いてるやつをリストアップ
[1] - xxxx
>fg 1     #jobsで出た番号のやつをフォアグラウンドにもってくる
>[ctrl-z] #フォアグラウンドのやつをサスペンド
>bg       #フォアグラウンドのやつをバックグラウンドに持っていく

Rubyで動的に関数定義3(for Test::Unit) [ruby] [tips] [TDD]

Rubyで動的に関数定義
 Rubyで動的に関数定義2
からの続き。

で、今回いろいろ調べていた大元の理由である「テストケースの自動生成」だけど、こんな感じで使えそう。

テスト対象


class Testee
  def login(login_user)
    @login_user ||=login_user
  end
  def who_am_i?
    @login_user
  end
end

一つのテストケース内でログインの試験を複数回やると、初回のログイン情報が残るためにfailする。


require 'test/unit'
require 'testee' 

class TesteeTest < Test::Unit::TestCase
  def test_should_login
    @testee.login(:hoge)
    assert_equal :hoge, @testee.who_am_i? # => ok
    @testee.login(:fuga)
    assert_equal :fuga, @testee.who_am_i? #=> fail :hogeが残ってる
  end
end

今までなら、複数の試験を手書きしてた。

そこで、今回勉強してきた、define_methodを利用してテストケースを自動生成してみる。


require 'test/unit'
require 'testee' 

class TesteeTest < Test::Unit::TestCase
  def self.generate_test
    while login_name = DATA.gets do
      login_name.chomp!
      define_method("test_should_login_by_#{login_name}") do
        @testee.login(login_name)
        assert_equal login_name, @testee.who_am_i? , " error on login by #{login_name}"
      end
    end 
  end
  def setup
    @testee = Testee.new
  end
end
__END__
:hoge
:fuga

うまくやれば、PerlのTest::Baseくらい使い勝手が良くなるかもね。

Rubyで動的に関数定義2 [ruby] [tips]

web Rubyで動的に関数定義
からの続き。

生成後のインスタンスに関数を動的に生やす場合は、いろいろ試したが、以下の方法が一番よさそう。
インスタンス変数、クラスインスタンス変数、ローカル変数(クロージャ)が利用できる。


class Dog
  @dog_counter = 0
  def initialize(name)
    self.class.class_eval { @dog_counter += 1 }
    @dog_name = name
  end
  def perform
    puts "*****"
    puts "I am #{@dog_name}." # instance variable @
    puts "Total Dogs are #{self.class.class_eval {@dog_counter}}." # class instance variable @
    puts "bow!"
  end
end
dog_hoge = Dog.new('hoge')
dog_hoge.perform
dog_fuga = Dog.new('fuga')
dog_fuga.perform

インスタンスdog_fugaにだけ関数をオーバライドしてやる。
instance_eval, define_methodを利用することにより、外部ローカル変数を利用できる。


lexical_local_variable = 'Wooooo!'
(class << dog_fuga;self;end).instance_eval do
  define_method(:perform) do
    puts "*****"
    puts "I am #{@dog_name}." # instance variable @
    puts "I am one of the #{self.class.class_eval {@dog_counter}} Dogs." # class instance variable @
    puts "#{lexical_local_variable}" # lexical closure(local variable)
  end
end
dog_hoge.perform
dog_fuga.perform

いろいろ使えそうだ。

追記
Rubyで動的に関数定義3(for Test::Unit)

unixのマニュアルのテキスト保存方法 [unix] [tips]

会社の重鎮に教えてもらった。


man xxx | col -bl > xxx.txt

こうすると、下線とかboldとかが取れてきれいなテキストで落とせる。

sqlで日付を月初にしてグループ化する方法 [tips] [mysql]

レポート用のクエリーとかで、日付を月初にあわせてグループ化したかったりする。
sqlでは以下のようにすればできる。


select cast(date_format(date_column,'%Y-%m-01') as Date) from table
group by cast(date_format(date_column, '%Y-%m-01') as Date);

本当にcastが必要なのかが良くわからん。

Rubyで動的に関数定義 [ruby] [tips]

module_eval(= class_eval),instance_evalがある。
なんで、この機能を調べているかというと、Railsで試験しているときに、ログインユーザを切り替えようと、一つのテスト関数内でログインを繰り返してたら、同じテスト関数内は同一セッションになって「すでにログインしてます」とかなったわけさ。(俺のインプリでは)

で、いちいちログアウトさせるのも面倒なので、いっそのことテスト関数を自動生成しようと思った。

そのうち詳しく書こうと思うので[todo]タグ。

追記:

module_eval(=class_eval)は、レシーバのクラスにインスタンス関数を定義。


irb> class Hoge
irb> end
irb> hoge = Hoge.new
irb> Hoge.module_eval {def fuga() p 'fuga';end}
irb> Hoge.fuga #=> error
irb> hoge.fuga #=> 'fuga'
irb> Hoge.new.fuga #=> 'fuga'

instance_evalは、レシーバがクラスの場合、クラス関数を定義(def self.xxxってやるやつと同等)


irb> class Hoge
irb> end
irb> hoge = Hoge.new
irb> Hoge.instance_eval {def fuga() p 'fuga';end}
irb> Hoge.fuga #=> 'fuga'
irb> hoge.fuga #=> error
irb> Hoge.new.fuga #=> error

instance_evalは、レシーバがobjectのインスタンス場合、そのobjectのインスタンス関数を定義


irb> class Hoge
irb> end
irb> hoge = Hoge.new
irb> hoge.instance_eval {def fuga() p 'fuga';end}
irb> Hoge.fuga #=> error
irb> hoge.fuga #=> 'fuga'
irb> Hoge.new.fuga #=> error

これに変数のスコープとからむとさらにややこしそうだ。
そのうち調べよう。ということでまだ[todo]

追記：
Rubyで動的に関数定義2
Rubyで動的に関数定義3(for Test::Unit)

Rubyのクラスのインスタンス変数 [ruby] [tips]

Rubyにはクラスにもインスタンス変数を作成することができる。


class Hoge
  def self.count_instance
    @num = 0 if @num.nil?   #クラスのインスタンス変数
    @num += 1
  end
  def self.get_count
    @num
  end
  def initialize(num)
    self.class.count_instance
    @num = num
    self
  end
  def get_count
    @num
  end
end

これがあるんならクラス変数(@@)とかっていらないのかな？

Dateアップデート時の注意事項 [programming] [tips]

どんな言語でもそうだと思うけど、日付のアップデート時には、月→日の順番でアップデートする。
先に日をアップデートすると、31日の処理にバグが出る。

オブジェクト指向開発の指針 [programming] [OO] [tips]

たまには振り返っておく。

OCP: Open Closed Principle</br>拡張に開き、修正に閉じる。
DRY: Don't Repeat Yourself</br>適切な場所一箇所で処理する。(複数個所に同じようなコードがあるのは、あやしい。)
SRP: Single Responsibility Principle
一つのことをうまくやる。
LSP: Liskov Substitution Principle
サブクラスは親クラスと同じインタフェースを持つ。(2Dimensionクラスのサブクラスで3Dimensionクラス作るのはだめ。)

Railsのform_forとpartial [rails] [tips]

form_forを使いつつpartialレンダリングするには、以下の方法でpartial側
formにform_forのブロックパラメータを渡す必要がある。

例: ‘:locals => {:f => f}’のところ。


<h1><%= _('Create a New Account') %></h1>
<% form_for :user, @user, :url =>{:action => 'signup'} do |f| -%>
  <%= render :partial => 'signup_form', :locals => {:f => f}  %>
  <%= submit_tag _('Sign up') %>
<% end -%>

CPANモジュールをバージョン指定でインストール [perl] [CPAN] [tips]

Version指定するときは、CPANのダウンロードリンクのid/以下を使う

perlのgrepで空文字を配列から消す [perl] [tips] [idiom]


my @result = grep{$_} @array;

perlの最新版の機能の読み方 [perl] [tips]

perldoc perldelta
で読む。

javascript event tips [javascript] [tips]

eventの標準機能を止めないと思わぬことがおこる。


   _disable_default_event: function(evt){
     if (evt.preventDefault) {
       evt.preventDefault();
     } else {
       evt.returnValue = false;
     }
   };

この関数をイベント処理後に呼び出す。

applyの引数展開 [javascript] [tips]

func.apply(null, array)とするとarrayが展開される。

Motivation Driven Development

[tips]-Motivation Driven Development

tips

pythonで外部コマンド実行 [python] [tips]