Bls: Huge Matrix pake HashMap
|
View:
New views
10 Messages
—
Rating Filter:
Alert me
|
 |
Bls: Huge Matrix pake HashMap
by timotius sakti
::
Rate this Message:
Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa tujuannya jadi nanti saya bisa bantu menggunakan cara lain yg juga solve masalah anda.
- Timotius Sakti visit my blog: http://nomoreac.wordpress.com --- Pada Kam, 2/7/09, david_liauw <david_liauw@...> menulis: Dari: david_liauw <david_liauw@...> Topik: [JUG-Indonesia] Huge Matrix pake HashMap Kepada: jug-indonesia@... Tanggal: Kamis, 2 Juli, 2009, 1:07 AM Hi, Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar misalnya Mat[1000000] [1000000] menggunakan HashMap? Thanks yah ! Regards, ___________________________________________________________________________ Dapatkan alamat Email baru Anda! Dapatkan nama yang selalu Anda inginkan sebelum diambil orang lain! http://mail.promotions.yahoo.com/newdomains/id/ |
|
|
Re: Bls: Huge Matrix pake HashMap
by david_liauw
::
Rate this Message:
saya lagi buat project data mining untuk clustering dokumen...semua dokumen yang terindex di retrieve untuk diambil matrix TF-IDF nya, nah atribut yang digunakan cukup besar???
tolong bantu saya.... thx --- In jug-indonesia@..., timotius sakti <timotius86@...> wrote: > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa tujuannya jadi nanti saya bisa bantu menggunakan cara lain yg juga solve masalah anda. > > - Timotius Sakti > > visit my blog: > http://nomoreac.wordpress.com > > --- Pada Kam, 2/7/09, david_liauw <david_liauw@...> menulis: > > Dari: david_liauw <david_liauw@...> > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > Kepada: jug-indonesia@... > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > Hi, > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar misalnya Mat[1000000] [1000000] menggunakan HashMap? > > > > Thanks yah ! > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > ___________________________________________________________________________ > Dapatkan alamat Email baru Anda! > Dapatkan nama yang selalu Anda inginkan sebelum diambil orang lain! > http://mail.promotions.yahoo.com/newdomains/id/ > |
|
|
|
|
|
Re: Bls: Huge Matrix pake HashMap
by jarvov
::
Rate this Message:
1 triliun boss... bukan 1 milyar.
Satu point data(m.n) itu isinya apa saja Mas? emang kalau di split enggak bisa ya? jadi dibagi per 1Kx1K di proses bagian per bagian. Ngeri denger nya... sejuta kali sejuta, kayak lagi ngitung aerodinamis pesawat tempur rgds, jarvov Ilhamsyah Edwar wrote: > > > Kayaknya kalo 1jt x 1jt terlalu besar deh.. Berarti ada 1milyar data. > Belum lagi memproses data sebesar itu, bisa butuh waktu beberapa jam > waktu running. > > Saya dulu pernah coba pake vector of vector, cuman sanggup 1000x1000. > Lebih daripada itu out of memory. Sudah coba naikin XMS sampe 1.5GB gak > kuat juga. > Saya dulu bukan untuk data mining, tapi untuk perhitungan finite > element. > |
|
|
|
|
|
Re: Bls: Huge Matrix pake HashMap
by Jony Sugianto
::
Rate this Message:
Saya kira matrixnya akan banyak kosongnya (sparsematrix), kenapa untuk
methode penyimpanannya tidak menggunakan sparsematrix implementasi yang berbasis list saja. Jadi yang disimpan hanya informasi yang tidak kosong saja. Jadi kalau jumlah dokumentnya 1000000 dan rata 2 keyword tiap dokument 100 maka tempat yang dibutuhkan kan cuma 100*1000000. david_liauw wrote: > > > saya lagi buat project data mining untuk clustering dokumen...semua > dokumen yang terindex di retrieve untuk diambil matrix TF-IDF nya, nah > atribut yang digunakan cukup besar??? > tolong bantu saya.... thx > > --- In jug-indonesia@ yahoogroups. com > <mailto:jug-indonesia%40yahoogroups.com>, timotius sakti <timotius86@ > ...> wrote: > > > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa tujuannya > jadi nanti saya bisa bantu menggunakan cara lain yg juga solve masalah > anda. > > > > - Timotius Sakti > > > > visit my blog: > > http://nomoreac. wordpress. com <http://nomoreac.wordpress.com> > > > > --- Pada Kam, 2/7/09, david_liauw <david_liauw@ ...> menulis: > > > > Dari: david_liauw <david_liauw@ ...> > > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > > Kepada: jug-indonesia@ yahoogroups. com > <mailto:jug-indonesia%40yahoogroups.com> > > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > Hi, > > > > > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran > besar misalnya Mat[1000000] [1000000] menggunakan HashMap? > > > > > > > > Thanks yah ! > > > > > > > > > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > ____________ _________ _________ _________ _________ _________ _ > > Dapatkan alamat Email baru Anda! > > Dapatkan nama yang selalu Anda inginkan sebelum diambil orang lain! > > http://mail. promotions. yahoo.com/ newdomains/ id/ > <http://mail.promotions.yahoo.com/newdomains/id/> > > > > |
|
|
Re: Bls: Huge Matrix pake HashMap
by Endy Muhardin
::
Rate this Message:
2009/7/3 Ilhamsyah Edwar <IlhamsyahE@...>:
> > > Ups sori, 1 triliun.. Bener... Nolnya banyak dah.. :) > > Kalo di-split, tetap aja butuh memori sebanyak 8 byte x 1T = 8TB!!! > Asumsi data yang dimasukkan adalah integer yang 8 byte.. Kayaknya perlu > trik khusus nih. Mungkin bisa dengan diswap ke file untuk cache. > DOM vs SAX. Kalau pendekatan DOM gak bisa, coba pakai pendekatan SAX -- Endy Muhardin http://endy.artivisi.com Y! : endymuhardin -- life learn contribute -- |
|
|
Re: Bls: Huge Matrix pake HashMap
by Andrian Kurniady-2
::
Rate this Message:
Tebakan saya: biasanya data mining walaupun column dan rownya besar, tapi
datanya sparse (tiap row nggak make semua column). Kalo begitu bisa pake HashMap (ato TreeMap) dengan key berupa value pair<row, column>. Kalo angkanya beneran 1jt x 1jt, mestinya udah saatnya pake yg lebih berat macemnya MapReduce (kan dah ada yg gratisannya: Hadoop). -Kurniady 2009/7/3 Ilhamsyah Edwar <IlhamsyahE@...> > > > Kayaknya kalo 1jt x 1jt terlalu besar deh.. Berarti ada 1milyar data. > Belum lagi memproses data sebesar itu, bisa butuh waktu beberapa jam > waktu running. > > Saya dulu pernah coba pake vector of vector, cuman sanggup 1000x1000. > Lebih daripada itu out of memory. Sudah coba naikin XMS sampe 1.5GB gak > kuat juga. > Saya dulu bukan untuk data mining, tapi untuk perhitungan finite > element. > > > > -----Original Message----- > > From: jug-indonesia@... <jug-indonesia%40yahoogroups.com> > > [mailto:jug-indonesia@... <jug-indonesia%40yahoogroups.com>] > On Behalf Of david_liauw > > Sent: Friday, July 03, 2009 03:35 PM > > To: jug-indonesia@... <jug-indonesia%40yahoogroups.com> > > Subject: Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap > > > > saya lagi buat project data mining untuk clustering > > dokumen...semua dokumen yang terindex di retrieve untuk > > diambil matrix TF-IDF nya, nah atribut yang digunakan cukup besar??? > > tolong bantu saya.... thx > > > > --- In jug-indonesia@... <jug-indonesia%40yahoogroups.com>, > timotius sakti > > <timotius86@...> wrote: > > > > > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa > > tujuannya jadi nanti saya bisa bantu menggunakan cara lain yg > > juga solve masalah anda. > > > > > > - Timotius Sakti > > > > > > visit my blog: > > > http://nomoreac.wordpress.com > > > > > > --- Pada Kam, 2/7/09, david_liauw <david_liauw@...> menulis: > > > > > > Dari: david_liauw <david_liauw@...> > > > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > > > Kepada: jug-indonesia@...<jug-indonesia%40yahoogroups.com> > > > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > Hi, > > > > > > > > > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix > > berukuran besar misalnya Mat[1000000] [1000000] menggunakan HashMap? > > > > > > > > > > > > Thanks yah ! > > > > > > > > > > > > > > > > > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > |
|
|
Re: Bls: Huge Matrix pake HashMap
by david_liauw
::
Rate this Message:
Matrix nya termasuk SparseMatrix....frekuensi kemunculan term (kata) dalam tiap dokumen itulah yang digunakan sebagai pembobotnya.
--- In jug-indonesia@..., Jony Sugianto <sugianto@...> wrote: > > Saya kira matrixnya akan banyak kosongnya (sparsematrix), kenapa untuk > methode penyimpanannya tidak menggunakan sparsematrix implementasi yang > berbasis list saja. Jadi yang disimpan hanya informasi yang tidak kosong > saja. Jadi kalau jumlah dokumentnya 1000000 dan rata 2 keyword tiap > dokument 100 maka tempat yang dibutuhkan kan cuma 100*1000000. > > david_liauw wrote: > > > > > > saya lagi buat project data mining untuk clustering dokumen...semua > > dokumen yang terindex di retrieve untuk diambil matrix TF-IDF nya, nah > > atribut yang digunakan cukup besar??? > > tolong bantu saya.... thx > > > > --- In jug-indonesia@ yahoogroups. com > > <mailto:jug-indonesia%40yahoogroups.com>, timotius sakti <timotius86@ > > ...> wrote: > > > > > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa tujuannya > > jadi nanti saya bisa bantu menggunakan cara lain yg juga solve masalah > > anda. > > > > > > - Timotius Sakti > > > > > > visit my blog: > > > http://nomoreac. wordpress. com <http://nomoreac.wordpress.com> > > > > > > --- Pada Kam, 2/7/09, david_liauw <david_liauw@ ...> menulis: > > > > > > Dari: david_liauw <david_liauw@ ...> > > > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > > > Kepada: jug-indonesia@ yahoogroups. com > > <mailto:jug-indonesia%40yahoogroups.com> > > > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > Hi, > > > > > > > > > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran > > besar misalnya Mat[1000000] [1000000] menggunakan HashMap? > > > > > > > > > > > > Thanks yah ! > > > > > > > > > > > > > > > > > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > ____________ _________ _________ _________ _________ _________ _ > > > Dapatkan alamat Email baru Anda! > > > Dapatkan nama yang selalu Anda inginkan sebelum diambil orang lain! > > > http://mail. promotions. yahoo.com/ newdomains/ id/ > > <http://mail.promotions.yahoo.com/newdomains/id/> > > > > > > > > |
|
|
Re: Bls: Huge Matrix pake HashMap
by Feris Thia-7
::
Rate this Message:
Semacam tokenizer ya ?
Kenapa tidak menggunakan Lucene ? http://lucene.apache.org 2009/7/4 david_liauw <david_liauw@...> > Matrix nya termasuk SparseMatrix....frekuensi kemunculan term (kata) dalam > tiap dokumen itulah yang digunakan sebagai pembobotnya. |
| Free embeddable forum powered by Nabble | Forum Help |
