Tuesday, June 28, 2011

Bug of MERT script of Moses when tuning on lattice

I am using some new version of Moses to decode lattice, but when I use the MERT script (mert-moses.pl) to tune on lattice input. I got some errors as follows:
Can't use an undefined value as an ARRAY reference at mert-moses.pl line 684.

After investigating for a while, I realized that the mert-moses.pl has not recognized that the input lattice weight ([weight-i]) is a weight to be tuned. Thus, I have read through the script and changed the procedure named scan_config: after the line "die "$inishortname: File was empty!" if !$nr;" I have added the following code:
################################################
# wangpd
foreach my $k (keys %$config_weights)
{
if (!defined $used_triples{$k})
{
my @triplets = @{$additional_triples->{$k}};
my $needlambdas = scalar(@{$config_weights->{$k}});
for(my $lambda=0; $lambda<$needlambdas; $lambda++)
{
my $triplet = $lambda;
$triplet %= scalar(@triplets)
if $additional_tripes_loop->{$k};
my ($start, $min, $max)
= @{$triplets[$triplet]};
push @{$used_triples{$k}}, [$start, $min, $max];
}
}
}
#################################################

Wednesday, June 1, 2011

Indonesian stop words list

a
abad
acara
aceh
ada
adalah
adanya
adapun
agak
agaknya
agama
agar
agustus
air
akan
akankah
akhir
akhirnya
akibat
aku
akulah
alam
album
amat
amatlah
amerika
anak
and
anda
andalah
anggota
antar
antara
antaranya
apa
apaan
apabila
apakah
apalagi
apatah
api
as
asal
asia
atas
atau
ataukah
ataupun
australia
awal
b
badan
bagai
bagaikan
bagaimana
bagaimanakah
bagaimanapun
bagi
bagian
bahan
bahasa
bahkan
bahwa
bahwasanya
baik
bangsa
bank
banyak
barang
barat
baru
bawah
beberapa
begini
beginian
beginikah
beginilah
begitu
begitukah
begitulah
begitupun
bekerja
belakang
belanda
belum
belumlah
benar
bentuk
berada
berapa
berapakah
berapalah
berapapun
berarti
berasal
berat
berbagai
berbeda
berdasarkan
berhasil
berikut
berjalan
berlangsung
bermacam
bermain
bernama
bersama
bertemu
besar
besok
betulkah
biasa
biasanya
bidang
bila
bilakah
bintang
bisa
bisakah
bola
boleh
bolehkah
bolehlah
buat
bukan
bukankah
bukanlah
bukannya
buku
bulan
bumi
cara
catch
code
copyright
cukup
cuma
daerah
dahulu
dalam
dan
dana
dapat
dari
daripada
dasar
data
datang
dekat
demi
demikian
demikianlah
dengan
depan
desa
desember
di
dia
dialah
dianggap
diantara
diantaranya
dibuat
didirikan
diduga
digunakan
dikarenakan
dikenal
dilakukan
dimana
dimulai
dini
diri
dirilis
dirinya
disebut
disini
disinilah
distrik
ditemukan
document.write
dolar
dong
dua
dulu
dunia
effective
ekonomi
empat
enggak
enggaknya
entah
entahlah
eropa
err
film
gat
gedung
gelar
gettracker
grup
gunung
hal
hampir
hanya
hanyalah
harga
hari
harus
haruslah
harusnya
hasil
hendak
hendaklah
hendaknya
hidup
hingga
https
hubungan
hukum
hutan
i
ia
ialah
ibarat
ibu
ii
ikut
ilmu
indonesia
industri
informasi
inggris
ingin
inginkah
inginkan
ini
inikah
inilah
internasional
islam
italia
itu
itukah
itulah
jadi
jakarta
jalan
jalur
jangan
jangankan
janganlah
januari
jauh
jawa
jelas
jenis
jepang
jerman
jika
jikalau
jiwa
juga
jumat
jumlah
juni
justru
juta
kabupaten
kala
kalau
kalaulah
kalaupun
kali
kalian
kalimantan
kami
kamilah
kamis
kamu
kamulah
kan
kantor
kapal
kapan
kapankah
kapanpun
karena
karenanya
karya
kasus
kata
katanya
kawasan
ke
kebutuhan
kecamatan
kecil
kedua
kegiatan
kehidupan
kejadian
kelompok
keluar
keluarga
kelurahan
kembali
kemudian
kemungkinan
kenapa
kepada
kepadanya
kepala
keputusan
kerajaan
kerja
kesempatan
keterangan
ketiga
ketika
ketua
khusus
khususnya
kini
kinilah
kiranya
kita
kitalah
km
kok
kondisi
korban
korea
kota
kurang
lagi
lagian
lagu
lah
lain
lainnya
lalu
lama
lamanya
langsung
lanjut
laut
lebih
lembaga
lewat
lima
lingkungan
lokasi
luar
luas
macam
maka
makanya
makin
malah
malahan
malam
malaysia
mampu
mampukah
mana
manakala
manalagi
mantan
manusia
masa
masalah
masih
masihkah
masing
masing-masing
masuk
masyarakat
mata
mau
maupun
measure
media
mei
melainkan
melakukan
melalui
melawan
melihat
memang
membantu
membawa
memberi
memberikan
membuat
memiliki
meminta
mempunyai
mencapai
mencari
mendapat
mendapatkan
menerima
mengaku
mengalami
mengambil
mengapa
mengatakan
mengenai
mengetahui
menggunakan
menghadapi
meninggal
meningkatkan
menjadi
menjalani
menjelaskan
menteri
menuju
menunjukkan
menurut
menyatakan
menyebabkan
menyebutkan
merasa
mereka
merekalah
merupakan
meski
meskipun
milik
militer
minggu
minyak
misalnya
mobil
mulai
muncul
mungkin
mungkinkah
musik
musim
nah
nama
namun
nanti
nantinya
nasional
negara
negeri
new
nomor
november
nya
nyaris
of
oktober
oleh
olehnya
orang
organisasi
pada
padahal
padanya
pagetracker
pagi
paling
panjang
pantas
para
partai
pasar
pasti
pastilah
pasukan
pekan
pemain
pembangunan
pemerintah
pemerintahan
pemimpin
pendidikan
penduduk
penggunaan
penting
per
perancis
perang
percuma
perlu
pernah
persen
pertama
pertandingan
perubahan
perusahaan
pesawat
pihak
polisi
politik
posisi
presiden
program
proses
provinsi
pt
pubdate
pukul
pula
pulau
pun
punya
pusat
rabu
raja
rakyat
rasa
raya
republik
resmi
ribu
ruang
rumah
rupanya
saat
saatnya
sabtu
saja
sajalah
sakit
salah
saling
sama
sambil
sampai
sana
sangat
sangatlah
satu
saya
sayalah
se
sebab
sebabnya
sebagai
sebagaimana
sebagainya
sebagian
sebaliknya
sebanyak
sebegini
sebegitu
sebelah
sebelum
sebelumnya
sebenarnya
seberapa
sebesar
sebetulnya
sebisanya
sebuah
secara
sedang
sedangkan
sedemikian
sedikit
sedikitnya
segala
segalanya
segera
seharusnya
sehingga
sejak
sejarah
sejenak
sejumlah
sekali
sekalian
sekaligus
sekalipun
sekarang
seketika
sekiranya
sekitar
sekitarnya
sekolah
sela
selagi
selain
selaku
selalu
selama
selamanya
selasa
selatan
seluruh
seluruhnya
semacam
semakin
semasih
semaunya
sementara
sempat
semua
semuanya
semula
sendiri
sendirinya
senin
seolah
seorang
sepak
sepanjang
sepantasnya
sepantasnyalah
seperti
sepertinya
september
serangan
serikat
sering
seringnya
serta
serupa
sesaat
sesama
sesegera
sesekali
seseorang
sesuai
sesuatu
sesuatunya
sesudah
sesudahnya
setelah
seterusnya
setiap
setidaknya
sewaktu
siapa
siapakah
siapapun
sini
sinilah
sistem
stasiun
suara
suatu
sudah
sudahkah
sudahlah
suku
sumber
sungai
supaya
surat
tadi
tadinya
tahu
tahun
tak
tampil
tanah
tanggal
tanpa
tapi
teknologi
telah
teman
tempat
tengah
tentang
tentara
tentu
tentulah
tentunya
terakhir
terbesar
terdapat
terdiri
terhadap
terhadapnya
terjadi
terkait
terkenal
terlalu
terlebih
terletak
terlihat
termasuk
ternyata
tersebut
tersebutlah
tertentu
terus
terutama
tetap
tetapi
the
tiap
tidak
tidakkah
tidaklah
tiga
tim
timur
tinggal
tinggi
tingkat
toh
tokoh
trackpageview
try
uang
udara
ujar
umum
unescape
universitas
untuk
upaya
usai
utama
utara
var
versi
waduh
wah
wahai
wakil
waktu
walau
walaupun
warga
wib
wilayah
wong
ya
yaitu
yakni
yang
zaman

Malay stop words list

abdul
abdullah
acara
ada
adalah
ahmad
air
akan
akhbar
akhir
aktiviti
alam
amat
amerika
anak
anggota
antara
antarabangsa
apa
apabila
april
as
asas
asean
asia
asing
atas
atau
australia
awal
awam
bagaimanapun
bagi
bahagian
bahan
baharu
bahawa
baik
bandar
bank
banyak
barangan
baru
baru-baru
bawah
beberapa
bekas
beliau
belum
berada
berakhir
berbanding
berdasarkan
berharap
berikutan
berjaya
berjumlah
berkaitan
berkata
berkenaan
berlaku
bermula
bernama
bernilai
bersama
berubah
besar
bhd
bidang
bilion
bn
boleh
bukan
bulan
bursa
cadangan
china
dagangan
dalam
dan
dana
dapat
dari
daripada
dasar
datang
datuk
demikian
dengan
depan
derivatives
dewan
di
diadakan
dibuka
dicatatkan
dijangka
diniagakan
dis
disember
ditutup
dolar
dr
dua
dunia
ekonomi
eksekutif
eksport
empat
enam
faedah
feb
global
hadapan
hanya
harga
hari
hasil
hingga
hubungan
ia
iaitu
ialah
indeks
india
indonesia
industri
ini
islam
isnin
isu
itu
jabatan
jalan
jan
jawatan
jawatankuasa
jepun
jika
jualan
juga
julai
jumaat
jumlah
jun
juta
kadar
kalangan
kali
kami
kata
katanya
kaunter
kawasan
ke
keadaan
kecil
kedua
kedua-dua
kedudukan
kekal
kementerian
kemudahan
kenaikan
kenyataan
kepada
kepentingan
keputusan
kerajaan
kerana
kereta
kerja
kerjasama
kes
keselamatan
keseluruhan
kesihatan
ketika
ketua
keuntungan
kewangan
khamis
kini
kira-kira
kita
klci
klibor
komposit
kontrak
kos
kuala
kuasa
kukuh
kumpulan
lagi
lain
langkah
laporan
lebih
lepas
lima
lot
luar
lumpur
mac
mahkamah
mahu
majlis
makanan
maklumat
malam
malaysia
mana
manakala
masa
masalah
masih
masing-masing
masyarakat
mata
media
mei
melalui
melihat
memandangkan
memastikan
membantu
membawa
memberi
memberikan
membolehkan
membuat
mempunyai
menambah
menarik
menawarkan
mencapai
mencatatkan
mendapat
mendapatkan
menerima
menerusi
mengadakan
mengambil
mengenai
menggalakkan
menggunakan
mengikut
mengumumkan
mengurangkan
meningkat
meningkatkan
menjadi
menjelang
menokok
menteri
menunjukkan
menurut
menyaksikan
menyediakan
mereka
merosot
merupakan
mesyuarat
minat
minggu
minyak
modal
mohd
mudah
mungkin
naik
najib
nasional
negara
negara-negara
negeri
niaga
nilai
nov
ogos
okt
oleh
operasi
orang
pada
pagi
paling
pameran
papan
para
paras
parlimen
parti
pasaran
pasukan
pegawai
pejabat
pekerja
pelabur
pelaburan
pelancongan
pelanggan
pelbagai
peluang
pembangunan
pemberita
pembinaan
pemimpin
pendapatan
pendidikan
penduduk
penerbangan
pengarah
pengeluaran
pengerusi
pengguna
pengurusan
peniaga
peningkatan
penting
peratus
perdagangan
perdana
peringkat
perjanjian
perkara
perkhidmatan
perladangan
perlu
permintaan
perniagaan
persekutuan
persidangan
pertama
pertubuhan
pertumbuhan
perusahaan
peserta
petang
pihak
pilihan
pinjaman
polis
politik
presiden
prestasi
produk
program
projek
proses
proton
pukul
pula
pusat
rabu
rakan
rakyat
ramai
rantau
raya
rendah
ringgit
rumah
sabah
sahaja
saham
sama
sarawak
satu
sawit
saya
sdn
sebagai
sebahagian
sebanyak
sebarang
sebelum
sebelumnya
sebuah
secara
sedang
segi
sehingga
sejak
sekarang
sektor
sekuriti
selain
selama
selasa
selatan
selepas
seluruh
semakin
semalam
semasa
sementara
semua
semula
sen
sendiri
seorang
sepanjang
seperti
sept
september
serantau
seri
serta
sesi
setiap
setiausaha
sidang
singapura
sini
sistem
sokongan
sri
sudah
sukan
suku
sumber
supaya
susut
syarikat
syed
tahap
tahun
tan
tanah
tanpa
tawaran
teknologi
telah
tempat
tempatan
tempoh
tenaga
tengah
tentang
terbaik
terbang
terbesar
terbuka
terdapat
terhadap
termasuk
tersebut
terus
tetapi
thailand
tiada
tidak
tiga
timbalan
timur
tindakan
tinggi
tun
tunai
turun
turut
umno
unit
untuk
untung
urus
usaha
utama
walaupun
wang
wanita
wilayah
yang