Otaku Toolbox – Mojibake Fixer

1 11 2007

Sziasztok, ez itt a fix.tv Level Up című… Ja nem, elnézést, ELNÉZÉST… Ez nem az.

Mindenesetre új “rovat” (azaz kategória) indul itt a Revoblogon, mégpedig az Otaku Toolbox. Célja a különféle, animések számára hasznos kis programok, weboldalak, kütyük és nekomimi-bolygókra nyíló feketelyukak bemutatása lesz. Természetesen, egy kicsit technikai jellegű lesz a sorozat, de nem nagyon, mindazonáltal mégis inkább kockásabb otakuknak ajánlanám. Minden egyes poszt után várom az esetleges kérdéseket, javításokat. Hogy sikeres lesz-e a téma, idővel majd kiderül…🙂 (Persze, itt a Revoblogon már minden sikeresnek tekinthető, ha két vagy több kommentje van.😄 )

Az első alanyunk a Mojibake Fixer, ami egy nagyon hasznos kis weboldal, ha kriksz-krakszokat akarunk (újra) értelmessé tenni.

Gondolom, már mindannyian találkoztatok olyan weboldallal, ami teljesen olvashatatlan karakterhalmaz volt, ahelyett, hogy valami minimálisan értelmezhető lett volna. Példának okáért, Pistike-chan egy Google kereséssel eljutott egy .jp címre, ami ugyebár japán eredetű, és japán karakterek helyett mindenféle egyéb szimbólumokat látott a %-tól a Vénusz jeléig… Vagy elég csak elmenni a japán Wikipediára ilyesmiért. Ez a jelenség a mojibake (“karakterváltozás” japánul). Ez abból fakad, hogy az adott dokumentumot (itt épp HTML fájlt) valamilyen nem-hazai karakterkódolással (pl. Shift-JIS) mentették el, a böngésző viszont más (legtöbbször nyugat-európai, “Latin1”-es) karakterkódolásúnak veszi, és ezért természetesen marhaságokat jelenít meg. Manapság ez már nem is annyira probléma, mert egyrészt sok modern böngésző (pl. Firefox) egy rakat karakterkódolást támogat, amik közt menet közben lehet váltogatni, nem is beszélve az automata felismerésről, másrészt meg terjed az Unicode a neten is, ami elég sok nyelv karaktereit rendszerbe foglalja.

(Felvetődhet a kérdés, mi van, ha csak egyszerűen nincs olyan betűkészletem, amilyen kell a nyelvhez? Nos, a karakterkódolás, illetve kódtábla /codepage/ és a betűtípus/betűkészlet /font/ két teljesen külön dolog. Karakterkódolás pl. a közép-európai Windows-1250, az orosz KOI8-R, a kínai Big5, a japán Shift-JIS, és az Unicode, ami rengeteg nyelvet támogat. Betűtípus pl. az Arial, a Comic Sans, a Tahoma. Ezek a latin ábécére épülő karakterkódolásokhoz készültek, a keleti nyelveket ezek nem támogatják, de azokhoz van pl. a MingLiu, a Mangal, és így tovább. Ha a böngésző kérdőjeleket vagy négyzeteket jelenít meg, akkor jól értelmezi a kódolást, de az operációs rendszernek (Windows) nincs meg a szükséges karakterkészlete, azaz nincs mivel kiírni. A kelet-ázsiai nyelvek támogatásának telepítése megoldja ezt a gondot.)

Igazából a gond azoknál az eseteknél van, ahol a hibás értelmezés már nyomot hagyott, és nem lehet visszavonni. Például, szeretnéd letölteni a kedvenc animéd egyik OST albumját. Meg is találod betömörítve, mint Animeee_OST_CD_1.rar, mindegy hol hogy, torrenten, DC-n, vagy e2k-n, és mivel nem látsz semmi problémát, le is töltöd.

Kitömöríted az Animeee_OST_CD_1.rar-t, és ekkor szembesülsz a fájlnevekkel. Mindegyik valami olvashatatlan idiótaság, aminek semmi értelme sincs. Azért, mert valaki olyan gépen tárolta a fájlokat, ahol nem volt telepítve a japán nyelv támogatása, és aztán így töltötte fel.

Ugye milyen jó lenne a romanji, de legalább az eredeti japán címeket tudni? Hogy oldható meg a visszaalakítás? Eddig úgy tűnt, sehogy, ami rosszul lett kódolva, az úgy is maradt. Egészen addig, amíg vaste ki nem találta a Mojibake Fixert.

Miért jó a Mojibake Fixer? Azért, mert képes ebből: 文字化け

Ezt visszahozni: 文字化け

Aminek ugyebár nem kell az előnyeit ecsetelnem. Csak kimásolod a kérdéses szöveget (fájlokkal nem tud mit kezdeni), beilleszted, Recover, és már meg is adja eredetileg mit akart jelenteni a szöveg. Még azt is megadja, hogy szerinte hogyan lett olyan ronda, amilyen:

Guessed text corruption path: stored using UTF-8 (Unicode 8bit), loaded using Windows 1252 (Latin, *with C1 codes).

Azaz valószínűleg eredetileg UTF-8 kódolású japánság volt, de valahogy átment Windows-1252 kódolású baromságba. De visszahoztuk!

Hogy felismerjétek az oldal jelentőségét (főleg nagy japánzene- és doujinshivadászok körében), bemutatok még pár példát visszaalakításra:

ƒEbből: bƒZ[ƒW

Ezt: メッセージ

Guessed text corruption path: stored using Windows-31J (Shift JIS), loaded using Percent encoding (URL/URI).

Ez a Shuffle! On The Stage Character Vocal Albumról Nerine dalának, a Message-nek az eredeti japán címe, a mellékelt txt fájl szerint. Habár szerintem semmi köze a “százalékos kódoláshoz” (lásd lejjebb), és szinte nem is tudok japánul, de a végeredmény nekem “Message”-nek tűnik.

Ebből: %E3%83%9E%E3%83%93%E3%83%8E%E3%82%AE

Ez: マビノギ

Guessed text corruption path: stored using UTF-8 (Unicode 8bit), loaded using Percent encoding (URL/URI).

Ez már tényleg “százalékos kódolás”. Nem igazán kódolási hiba, a japán (vagy egyéb Unicode) karaktereket így szokták internetes címekben (URL) használni, ezt például a Mabinogi nevű koreai játék japán Wikipediás címéből szedtem. De még ezt is ismeri a Mojibake Fixer. :3

Annak ellenére, hogy nagyon sok kódolást ismer (UTF-16BE, Big5-HKSCS, EUC-KR, MacRoman, CP850, MIME Header, stb.), az oldal sajnos béta, nem tökéletes, és van hogy kérdőjeleket is ad vissza fel nem ismert karaktereknél. A teljes japán Shuffle! On The Stage tracklistát csak úgy kaptam meg, hogy Total Commander Nézőkéjéből egyszer “Sima” (Windows-1250), egyszer pedig UTF-8 kódolásra állítva másoltam ki, mivel hol a címek/karakterek egyik, hol a másik fele jelent meg értelmes japán szövegként… Bezzeg ha eleve UTF-8-cal mentették volna…

Mindazonáltal, ha valaminek bármiért is kellene az eredeti JAPÁN kanji/kana neve az
日本語の表記体系 helyett, a Mojibake Fixer megér egy próbát.

A Mojibake Fixer béta weboldala:

https://mimizu.mine.nu:8443/tdict/mojibake.jsp


Műveletek

Information

13 hozzászólás

21 11 2007
Johan Fänge

Hm, I wonder what this article said. Unfortunately my hungarian is a bit lacking…

22 11 2007
Rev

I guess a “bit lacking” is completely lacking. Well, if you’re honestly interested, I could write a short summary of what this post is about. On the other hand, if you just joked, I would be a little bit upset.🙂

6 12 2007
Johan Fänge

Actually, I am interested, and would appreciate a short summary, if you got time.

26 11 2008
sjonna

Rev: Mivel úgy látom értesz ehhez-ahhoz a gépen megkérlek hogy segíts már nekem légyszíves! Az AA fórumon basznak válaszolni pedig tuti tudják vagy ötvenen a választ… bemásolom ide. Előre is köszi.

Valaki meg tudná mondani, hogy melyik progit érdemes letölteni az oldalról a következő műveletek elvégzéséhez (ha egyáltalán van ilyen itt)?

Letöltöttem egy régi rossz minőségű filmet szinkronosan, ez a film persze eredeti nyelven jó minőségben megvan a gépen. Szeretném a szinkront kivágni és ráilleszteni az eredeti nyelvű filmre. Mit ajánlotok? Előre is köszönöm szépen!

Tudsz ilyenről? Előre is köszi…

26 11 2008
Shakugan

Bocsi, hogy én írok:
De töltsd le a Sony Vegas 8.0 pro-t(ne régebbi verziót, mivel azok nem vesznek be mindenféle avi-t), a rossz minőségű magyarból szedd ki a videósávot és ments el csak a hangot, majd nyisd meg a jó minőségű filmet.Innen a hangsávot szedd ki, és tedd a helyére az előzőleg kimentett magyart majd rendel-eld ki(ebben is tudok segíteni)
Ha nem avi-ban van valamelyik filmed, akkor ajánlom az All to avi-t(van róla leírás AA-n)
Remélem, tudok segíteni

26 11 2008
sjonna

🙂 Nagyon köszi! Ha nem megy kereslek még…

26 11 2008
Shakugan

Nincs mit.Okés😀

26 11 2008
Rev

Anooo… Ha Vegasszal mentjük el (rendereljük) a videótól megfosztott hangot, az konverzióval jár, aztán még ha ehhez adjuk a másik fájl videóját, az megint egy (teljesen felesleges) konverzió lesz rendereléskor… Tehát ez kis(?) minőségromlással járna szerintem mind kép, mind hang terén… Na meg a Vegasban rendereléskor be kell állítani egy rakat audio- és video-paramétert, többek közt a felbontást, pedig azokat nem szeretnénk most buherálni… :3

Sjonna, én a VirtualDub-ot/VirtualDubMod-ot (és szükség esetén a SUPER nevű konvertert sávkiszedésre) tudnám ajánlani. Attól függ, milyen típusúak a forrásfájlok, és mibe mentenéd.

Az egyszerűség kedvéért vegyük úgy, hogy két AVI fájlod van. Egyikből kéne a hangsáv, a másikból a videósáv egyetlen fájlba. A lépések a következők:

1. Fogod a VirtualDubMod-ot, FileOpen video file… paranccsal betöltöd a fájlt, aminek a hangja kéne. Ha ugatna valamit a program az audio streamről meg VBR-ről és CBR-ről, akkor válaszd a Nem-et/No-t. Aztán Streams menü, Streams list. Itt valszeg csak egy MP3 stream lesz, kijelölöd, Demux, kimenti MP3-ba.

2. Ezután FileClose video file paranccsal bezárod ezt a fájlt, és betöltöd a másikat, amiből a videó kell. Streams menü, Stream list, az eredeti hangsávot kijelölöd, Disable, utána Add, és kiválasztod az előbb lementett MP3-at. Kicsit szöszmötöl, és hozzáadja az új hangsávot a fájlhoz.

3. Video menü, kiválasztod a Direct stream copy-t, utána File menü, Save As… és elmented Audio-Video Interleave típusú (AVI) fájlként. (Mivel az eredeti fájlhoz csapja hozzá az új hangot (és törli a régi hangsávot), nem lehet rámenteni az eredetire, úgyhogy más név kell neki, a régit meg törölheted, ha nem kell már.)

Persze, ha MKV fájlba mentve is jó (amit az asztali lejátszó tuti nem fog ismerni), akkor lehet 2 hangsávod is, ha esetleg megtartanád valamiért az eredeti szinkront is.

Remélem nem volt túl kockás. Ez így nem tudom menni fog-e így, mert én még nem csináltam ilyet, de elvileg működnie kell… Ha valami gond van, nyugodtan szólj. Például ha nem AVI fájljaid vannak. A másik meg az, hogy a videó és a szinkron lehet, hogy nem fog passzolni, és akkor az már kicsit macerásabb lenne, akkor ott barmolni kéne az anyaggal…

Plusz a VirtualDubMod sokkal-sokkal kisebb, mint a Vegas 8 Pro.😛

Itt van neked egy VirtualDubMod 1.5.10.1, nem a legújabb, de szerintem megteszi.

26 11 2008
sjonna

Ez így szuper, nagyon köszönöm! DE sajnos valóban az egyik kicsit rövidebb mint a másik… ha le tudod írni hogy lehet buzerálni az idővel az sokat segítene.🙂

27 11 2008
Rev

Huh… Miben nyilvánul meg a rövidség? Tehát egy idő múlva elkezd csúszni a hang a videóhoz képest? Vagy csak rövidebbnek tűnik, mert az egyik videó elején van valami, ami a másik elején nincs? Mert ha ugyanolyan sebességűek, akkor azt viszonylag könnyen lehet kezelni egy audioszerkesztővel, de ha a hangsáv sebességében nem stimmel telejsen, akkor az meg videóval buherálás lesz…
Az a gond, hogy én sose csináltam még ilyet, úgyhogy én is csak tapogatózok.😀

Figy, nézd meg, hogy a két videónak mik az adatai. Szedd le a SUPER-t valahonnan (kicsit trükkös lesz), és abba tedd be a két fájlt, (alsó üres mezőn jobb klikk, és Add media vagy valami ilyesmi), és duplakatt rájuk, ilyenkor kiírja a fontosabb dolgokat, pl. videókodek, framerate (FPS), hangkodek, hangsáv pontos hossza, stb.

27 11 2008
sjonna

Ismét köszi!
Egyébként ez két sima AVI film, az egyik ugye az eredeti hangot tartalmazó szép minőségű rip, a másik meg VHS-ről bedigizett szinkronos. A hiba csak annyi, hogy a szinkronos AVI-nak az elejéből hiányzik kb. 2, maximum 4 másodperc.

27 11 2008
Rev

Nos, ha így állunk, akkor az van, hogy leszedsz egy GoldWave-et (shareware), és megnyitod a magyar szinkron MP3-ját, amit kimentettél. (Bár HA a lehető legjobb(?) minőségre akarsz menni, akkor a szinkronos VHS-ripből nem MP3-ba mentesz (Demux), hanem WAV-ba (Save WAV), és azt szerkeszted.)

Itt látható egy kezdőkurzor meg egy végkurzor, általában a parancsok ezen belül érvényesek a hangfájlra. Ezeket az egérrel is lehet húzni ide-oda, meg kattintással is le lehet tenni akárhova a hangon… Ja meg lehet egérgörgővel “zoomolni” is ki-be a hangra, ha esetleg nem látszana az egész. A végkurzor legyen a fájl végénél, a kezdő meg a legelején.

Edit menü, Insert Silence… parancs, és beírsz egy értéket másodpercben (pl. 3.0). Itt a pontos értéket neked kell kihallgatnod.🙂

Aztán csak elmented, mint MPEG Audio fájl (MP3), alatta a listában Layer-3 ACM, 44100 Hz, 128 kbps, joint stereo legyen kiválasztva. A továbbiakban ezt teszed bele a VirtualDubMod-ba a fentebb leírtak szerint…

Egyébként szívesen, és bocs hogy az előző kommentet csak így ma estefelé írtam.

27 11 2008
sjonna

Ugyan már! Sokat segítesz, holnap megpróbálom megbűvölni a dolgot, ma már lusta vagyok ehhez. Köszönöm!

Vélemény, hozzászólás?

Adatok megadása vagy bejelentkezés valamelyik ikonnal:

WordPress.com Logo

Hozzászólhat a WordPress.com felhasználói fiók használatával. Kilépés / Módosítás )

Twitter kép

Hozzászólhat a Twitter felhasználói fiók használatával. Kilépés / Módosítás )

Facebook kép

Hozzászólhat a Facebook felhasználói fiók használatával. Kilépés / Módosítás )

Google+ kép

Hozzászólhat a Google+ felhasználói fiók használatával. Kilépés / Módosítás )

Kapcsolódás: %s




%d blogger ezt kedveli: