Elektroninio pašto programų analizė nacionalinių rašmenų persiuntimo požiūriu

Straipsnyje analizuojamos Lietuvoje paplitusios elektroninio pašto programos. Nagrinėjama, kaip jos perduoda nacionalinius rašmenis. Nacionalinių rašmenų (8 bitų ženklų) perdavimą aprašo MIME standartas, tad daugiausia remiamasi šiuo standartu ir analizuojant programas žiūrima, kiek jos tenkina šio standarto reikalavimus. Tuo tikslu atlikti įvairūs testai: tikrinama, kaip programos tvarkosi su įvairiomis ženklų kodų lentelėmis.

Panašūs testai siekiant patikrinti, kaip pašto programos siunčia nacionalinius rašmenis, buvo atlikti Švedijoje 1994 metais ir JAV 1996 metais [Crocker 1997, Faltstrom]. Tačiau tie testai buvo paviršutiniški - buvo tikrinama, ar pašto programos tenkina tik svarbiausius MIME reikalavimus, be to, buvo nagrinėta tik viena kodų lentelė: ISO-8859-1.

Šio darbo tikslas š išskirti tuos MIME reikalavimus, kuriuos turi tenkinti pašto programos, kad teisingai siųstų nacionalinius rašmenis, ir ištirti, kuriuos iš jų tenkina įvairios pašto programos.

Elektroninio pašto naudojimą aprašo įvairūs standartai. Juos galima suskirstyti į tris grupes:

standartai, aprašantys laiško siuntimo tarp pašto stočių protokolą;

standartai, aprašantys laiško formatą bei reikalavimus pašto programoms;

standartai, aprašantys laiško paėmimo iš pašto stočių protokolus.

Straipsnyje nagrinėjami nacionalinių rašmenų persiuntimo klausimai, todėl didžiausias dėmesys skiriamas antrajai standartų grupei. Laiškų siuntimo tarp pašto stočių ir paėmimo iš jų protokolai nenagrinėjami.

Baziniai elektroninio pašto standartai buvo patvirtinti 1982 metais. Jie pateikti dviejuose dokumentuose: RFC 821 ir RFC 822. Pirmasis aprašo laiškų siuntimo tarp pašto stočių protokolą SMTP, antrasis š elektroninio laiško formatą. Deja, šie standartai laiškuose leidžia naudoti tik ASCII (7 bitų) ženklus. Kadangi nacionaliniams rašmenims reikalingi visi 8 bitai, buvo sugalvoti būdai juos koduoti 7 bitų ženklais. Labiausiai paplitę UUENCODE ir BinHex metodai. Tačiau jų naudojimas nebuvo griežtai standartizuotas, todėl priklausomas nuo realizacijos. Pavyzdžiui, laiškas, užkoduotas UUENCODE būdu viena programa, ne visada galėjo būti atkoduotas kita programa. Antra vertus, šiais būdais koduojami tik laiško priedai, o ne paties laiško tekstas.

Tad reikėjo standarto, kuris leistų laiško tekste naudoti ir siųsti 8 bitų ženklus. Toks standartas buvo priimtas 1992 m. birželio mėn. ir pavadintas MIME (angl. Multipurpose Internet Mail Extension) protokolu. Iš pradžių jį sudarė du dokumentai: RFC 1341 ir RFC 1342. Vėliau jis buvo taisomas ir pildomas. 1993 m. rugsėjį buvo paskelbti RFC 1521, RFC 1522 (šiais dokumentais dar ir dabar daug kas vadovaujasi). Šiuo metu naujausia š 1996 m. lapkričio mėn. redakcija. Ją sudaro penki dokumentai RFC 2045-2049. 1997 metais buvo sukurtas papildomas dokumentas - RFC 2231. Čia aprašyta, kaip nurodyti laiške naudojamos kalbos pavadinimą (šis dokumentas straipsnyje nenagrinėjamas).

Taigi lyginant su ankstesniais pašto standartais, dabar atsirado galimybė perduoti 8 bitų ženklus tiek laiško kūne, tiek antraštės laukuose (kur paprastai nurodoma laiško tema, siuntėjo ir gavėjo vardai, kita informacija). Be to, MIME standartas suderinamas su senomis pašto programomis, kurios dirba 7 bitų režimu. Tam tikslui standartas numato du būdus 8 bitų ženklams koduoti 7 bitų ženklais: „base64“ ir „quoted-printable“. Savaime suprantama, kad laiške turi būti pažymėta, jog naudojamas minėtas standartas (kad priimančioji pusė teisingai interpretuotų laišką). Todėl buvo įtraukti keli papildomi antraštės laukai:

MIME versijos laukas;

siunčiamų duomenų tipą ir kodų lentelę nurodantis laukas;

duomenų kodavimo būdą nurodantis laukas.

Žinodamas, kokiu būdu užkoduoti duomenys, gavėjas gali juos teisingai atkoduoti; turėdamas kodų lentelę, gavėjas gali patikrinti, ar ji sutampa su kompiuteryje esančia ir jei ne, gali laiško tekstą perkoduoti.

Kai kurios programos, gavusios laišką, jį iš karto perkoduoja į kompiuterio naudojamą kodų lentelę ir tokiu pavidalu jį saugo kompiuteryje. Kaip žinia, perkoduojant prarandami tie ženklai, kurių nėra toje gavėjo kodų lentelėje, todėl būtų geriau saugoti laišką tokiu pavidalu, koks atėjo paštu, o ekrane rodyti perkoduotą.

Kadangi vienu pavidalu laiškas pateikiamas žmogui, o kitu (dažniausiai užkoduotu) - siunčiamas tarp pašto stočių, tai MIME standarte minimi du terminai, būtent: lokalioji laiško forma ir kanoninė forma.

Labai svarbu, kad pašto programa griežtai laikytųsi standarto reikalavimų pervesdama laišką iš vienos formos į kitą tiek kai jį siunčia, tiek kai priima, kitaip vartotojas gali nematyti normalaus teksto.

Dabar smulkiau panagrinėkime standarto reikalavimus, daugiau dėmesio skirdami būtent 8 bitų ženklų teisingam perdavimui.

Pateikiame MIME reikalavimus pašto programoms, turinčius įtakos nacionalinių rašmenų siuntimui. Reikalavimai surinkti iš dokumentų RFC 2045-2049.

Laiško pradžioje turi būti MIME versijos antraštės laukas [RFC2045]:

MIME-Version: 1.0

Iš to laiško gavėjo programa atpažįsta, jog laiškas suformuotas pagal MIME standartą.

Laiško tekstas turi būti pažymėtas „Content-type“ antraštės lauku, kuriame nurodytas „text“ duomenų tipas ir kodų lentelės pavadinimas. Pavyzdžiui:

Content-type: text/plain; charset=ISO-8859-13

Šiame lauke dar nurodomas ir teksto potipis. Paprasčiausias, duomenų apdorojimo nereikalaujantis yra „plain“ potipis. Standarte nurodyta, kad neatpažinus potipio turėtų būti parodoma arba siūloma pažiūrėti neapdorotus duomenis, prieš tai juos konvertavus iš kanoninės formos į lokalią.

Turi būti „Content-transfer-encoding“ laukas, nurodantis duomenų kodavimo būdą. Nekoduoti duomenys turi būti pažymėti „8bit“ arba „binary“ reikšme. Tačiau jei priimančioji pusė nepritaikyta darbui su 8 bitų ženklais (pvz., sena pašto stotis), tai siuntėjas privalo juos užkoduoti ir atitinkamai pažymėti „quoted-printable“ arba „base64“ reikšme. Pavyzdžiui:

Content-transfer-encoding: quoted-printable

Gavėjas turi teisingai interpretuoti minėtų laukų reikšmes nepriklausomai nuo to, ar jos užrašytos didžiosiomis, ar mažosiomis raidėmis, ar įrašytos tarp kabučių. Gavėjo programa turi perkoduoti laiško tekstą iš antraštėje nurodytos kodų lentelės į kompiuterio naudojamą, o jei to padaryti negali, turi informuoti vartotoją apie naudojamą lentelę. Taip pat ji turi atpažinti ir priimti nekoduotus „8bit“ ir „binary“ duomenis, o užkoduotus „base64“ arba „quoted-printable“ būdu - atkoduoti.

Standarte pateikti reikalavimai kiekvienam kodavimo būdui [RFC2045]. Koduojant „quoted-printable“ būdu, ženklai, kurių kodai yra intervaluose nuo 33 iki 60 ir nuo 62 iki 126 gali būti nekoduojami, kiti turi būti koduojami. Ženklas koduojamas trimis simboliais: =XX, čia XX š dviženklis šešioliktainis skaičius, reiškiantis to ženklo kodą, užrašytas abėcėlės 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F skaitmenimis (negalima vartoti mažųjų raidžių, tik didžiąsias).

Šiuo būdu užkoduotoje eilutėje turi būti ne daugiau kaip 76 ženklai, neskaitant eilutės pabaigos ženklų CR, LF. Norint užkoduoti ilgą eilutę, ją reikia suskaidyti trumpesnėmis ir kiekvienos gale prirašyti „minkštą“ eilutės pabaigą š lygybės (=) ženklą. Tokią eilučių seką gavėjas turi atkoduoti į vieną ilgą eilutę.

Eilutės ilgio ribojimas įvestas tam, kad laiškui keliaujant pro įvairius pašto vartus ilgesnės eilutės nebūtų „nukąstos“. Be to, jos nėra legalios, nes standarte rekomenduojama neatkoduoti ilgesnių eilučių, apie jas informuoti laiško gavėją kaip apie klaidingai užkoduotus duomenis.

Tam, kad paštas sėkmingai galėtų keliauti pro EBCDIC vartus, rekomenduojama koduoti dar ir šiuos US-ASCII ženklus: !, ", #, $, @, [, \, ], ^, `, {, |, }, ~.

Panašūs reikalavimai ir „base64“ kodavimo būdui. Kodavimo būdas aprašytas RFC2045 dokumente; čia pateikiame tik reikalavimus jam. Užkoduotose eilutėse turi būti ne daugiau, kaip 76 ženklai. Gavėjo programa, atkoduodama tekstą, turi ignoruoti visus kodus, kurių nėra „base64“ abėcėlėje.

Yra keletas antraštės laukų, kuriuose pagal standartą galima siųsti nacionalinius rašmenis. Straipsnyje nagrinėjami tik tie laukai, kuriuos gali užpildyti siuntėjas: „Subject:", „From:", „To:", „Cc:".

Dar nacionalinius rašmenis leidžiama naudoti komentaruose š tačiau kai kurios programos juos ignoruoja, tad jie čia nenagrinėjami.

Pašto programa turi leisti siuntėjui įvesti nacionalinius rašmenis į šiuos laukus, tačiau prieš įrašydama į laiško antraštę turi juos užkoduoti 7 bitų ženklais. Koduojant tekstas paverčiamas koduotais žodžiais. Tai ASCII ženklų seka, kuri prasideda „=?“, baigiasi „?=“ ir kurios viduje negali būti tarpų. Iš pradžių, po „=?“ nurodoma kodų lentelė, toliau rašomas „?", nurodomas kodavimo būdas (B arba Q), vėl „?“ ir galiausiai užkoduotas tekstas, kurio pabaigoje yra „?=“. Pavyzdys:

Subject: =?iso-8859-13?Q?Nacionalini=F8_ra=F0men=F8_siuntimas?=

Koduotame žodyje negali būti daugiau kaip 75 ženklai. Jei reikia koduoti ilgesnį tekstą, turi būti naudojami keli koduoti žodžiai, vienas nuo kito atskirti CR, LF ir tarpo ženklu (tarpo ženklų gali būti daugiau negu vienas). Beje, antraštės eilutė su koduotu žodžiu turi būti ne ilgesnė kaip iš 76 ženklų.

Standarte yra rekomendacija, kokį kodavimo metodą pasirinkti. Jei daugumą sudaro ASCII ženklai, rekomenduojama naudoti „Q“ metodą, kitu atveju š „B“ metodą. „B“ metodas yra toks pat kaip „base64“ metodas. „Q“ metodas panašus į „quoted-printable“ š ženklai koduojami taip pat, tačiau turi papildomų ribojimų. Be nacionalinių rašmenų, dar reikalaujama koduoti tarpo, tabuliacijos, „=", „?" ir „_“ ženklus. Tai suprantama, nes „=", „?“ atlieka skirtuko vaidmenį. O „_“ ženklas, priešingai negu „quoted-printable“ metode, gali būti naudojamas tarpui koduoti. Tekstui, kuris yra adreso laukuose (From:, To:, Cc:), reikalavimai dar griežtesni. „Q“ metodu užkoduotame tekste gali būti tik didžiosios ir mažosios ASCII raidės, skaitmenys bei ženklai: !, *, +, -, /, =, _. Visi kiti ženklai turi būti užkoduoti.

Tame pačiame lauke gali būti koduotas žodis ir įprastas tekstas. Tačiau tokiu atveju jie vienas nuo kito turi būti atskirti CR, LF ir tarpo ženklu.

Standarte nurodyta, kaip gavėjas turi atpažinti ir pateikti vartotojui užkoduotą antraštės lauką. Pašto programa turi išskirti koduotą žodį, patikrinti, ar jis tenkina sintaksę ir ar jame ne daugiau kaip 75 ženklai. Jei šie dalykai netenkinami, laiško gavėjui turi būti rodomas neatkoduotas tekstas. Taigi šis reikalavimas akivaizdžiai parodo, kaip svarbu, kad siuntėjas taisyklingai užkoduotų antraštės lauko tekstą.

Teisingai užkoduotas tekstas turi būti atkoduojamas ir laiško gavėjui pateikiamas perkoduotas į kompiuterio kodų lentelę. Jei perkoduoti neįmanoma, programa turi apie tai pranešti gavėjui. Jei lauke yra keli koduoti žodžiai, atkodavus turi būti pateikiamas vienas ištisinis tekstas.

Pašto programų testai

Testavimui buvo pasirinktos populiarios Lietuvoje bei galinčios dirbti su daugeliu kodų lentelių pašto programos: „Eudora Light“ (3.0.5), „Microsoft Outlook Express“ (4.72.2106.4), „Demos Mail“ (2.06), „Pegasus Mail“ (3.01a), „Pine“ (3.96), „Netscape Communicator“ (4.04), „Tango“ (3.1.1). Testuota Windows’95 terpėje. „Pine“ programa testuota UNIX stotyje, prisijungus Windows’95 telnet programa.

Buvo sudarytas testavimo klausimų sąrašas. Į jį įtraukti MIME reikalavimai, kuriuos įmanoma patikrinti testuojant, ir keletas papildomų klausimų, turinčių įtakos nacionalinių rašmenų siuntimui. Klausimų sąrašas:

Laiško siuntimas

A1. Įrašomas antraštės laukas „MIME-Version: 1.0“.

Laiško kūno kodavimas:

B1. Įrašomas „Content-transfer-encoding“ laukas su teisingai nurodytu kodavimo būdu.

B2. Programą galima suderinti taip, kad ji siųstų nekoduotą tekstą, pažymėdama jį „Content-transfer-encoding: 8bit".

B3. Įrašomas „Content-type“ laukas su nurodyta kodų lentele.

B4. Programa perkoduoja tekstą iš kompiuteryje naudojamo kodo į nurodytą antraštės lauke „Content-type".

B5. Programa leidžia pasirinkti siunčiamo teksto kodų lentelę.

Reikalavimai „quoted-printable" kodavimui:

C1. Programa koduoja ženklą „=“ ir simbolius, kurių kodai yra intervale 128 š 255.

C2. Užkoduotos eilutės ilgis neviršija 76 ženklų.

C3. Programos išsiųstas laiškas gali keliauti pro EBCDIC vartus, t.y. programa dar koduoja šiuos US-ASCII ženklus: !, ", #, $, @, [, \, ], ^, `, {, |, }, ~.

D1. Užkoduotos eilutės ilgis neviršija 76 ženklų.

E1. Pašto programa leidžia siuntėjui įvesti tekstą, skirtą laiško antraštei. Į antraštės lauką įrašo užkoduotą ir atitinkamai pažymėtą tekstą.

E2. Koduoto žodžio ilgis neviršija 75 ženklų.

E3. Antraštės eilutės su koduotu žodžiu ilgis neviršija 76 ženklų.

E4. Koduodama „Q“ metodu, užkoduoja „=", „?", „_" ir tarpo ženklus.

E5. Jei daugumą sudaro ASCII ženklai, pasirenka „Q“ kodavimo metodą, jei nacionaliniai š „B“ metodą.

Laiško gavimas

H1. Atpažįsta ir atkoduoja „quoted-printable“ metodu užkoduotus duomenis.

H2. Atpažįsta ir atkoduoja „base64“ metodu užkoduotus duomenis.

H3. Jei programa nesugeba parodyti ženklų iš antraštėje nurodytos kodų lentelės, apie tai informuoja laiško gavėją.

H4. Programa perkoduoja tekstą iš laiške nurodytos kodų lentelės į esančią kompiuteryje.

L1. Programa atkoduoja įvairiuose antraštės laukuose esantį užkoduotą tekstą.

L2. Atkoduoja „Q“ metodu užkoduotą tekstą su įvairiomis kodų lentelėmis.

L3. Atkoduoja „B" metodu užkoduotą tekstą su įvairiomis kodų lentelėmis.

L4. Perkoduoja tekstą iš antraštės lauke naudojamos kodų lentelės į esančią kompiuteryje.

L5. Daugiau negu 75 ženklais koduotas žodis yra neatkoduojamas ir rodomas kaip įprastas ASCII tekstas.

L6. Programa ignoruoja CR, LF ir tarpo simbolius, skiriančius viename antraštės lauke esančius kelis užkoduotus žodžius.

Keletą testų tenkino visos pašto programos: A1, B1, B3, C1, D1, H1, H2, L1, L4. Testo C3 netenkino nė viena programa. Kitų testų rezultatai skirtingoms programoms skiriasi. Pateikiame rezultatų lentelę, kurioje „+" reiškia, kad testas tenkinamas, o „-", kad netenkinamas.

Išvados

1. Testuojant programas buvo pastebėta, kad daugelis programų puikiai susitvarko su laiško kūno kodavimu, tačiau daro klaidų koduodamos antraščių laukus, o kai kurios iš viso jų nekoduoja. Taip yra turbūt todėl, kad antraštės laukų kodavimas yra sudėtingesnis ir labiau komplikuotas, negu laiško kūno kodavimas. Todėl kai kuriose programose jis nerealizuotas arba realizuotas ne visiškai.

2. Testuojant buvo tiriamos kelios simbolių kodų lentelės. Vakarų Europos ISO-8859-1 bei Lietuvoje naudojamos ISO-8859-4, ISO-8859-13, Windows-1257. Pagal analizės rezultatus pašto programos buvo suskirstytos į kelias grupes:

programa neturi lietuviškų lentelių ir nėra galimybės jomis papildyti naudojant išorines priemones: „Eudora Light", „Netscape Communicator";

programa lietuviškų kodų lentelių neturi, tačiau yra galimybė tas programas jomis papildyti: „Demos Mail“ ir „Pegasus Mail“. Testuojama buvo jau su papildytomis programomis;

programos, turinčios lietuviškas lenteles, nors ir ne visas (neturi ISO-8859-13): „Microsoft Outlook Express“ ir „Tango“. „Pine“ programa gali dirbti su visomis lietuviškomis kodų lentelėmis, tačiau teksto neperkoduoja į kompiuteryje naudojamą kodų lentelę. Tad laiško gavėjas turi kompiuterį suderinti pagal laiške nurodytą kodų lentelę.

3. Daugelis programų tekstą perkoduoja į kompiuterio kodų lentelę, tai programos „Microsoft Outlook Express“, „Demos Mail“, „Pegasus Mail“ ir „Tango“. Programa „Demos Mail“, gavusi laišką, iš karto jį perkoduoja ir tokiu pavidalu saugo.

4. Nė viena programa netenkino visų reikalavimų. Geriausiai MIME reikalavimus atitinka „Microsoft Outlook Express“ ir „Pine“ programos (neįvertinant, ar jos tinka lietuviškiems laiškams siųsti).

5. Tinkamiausios lietuviškiems laiškams (dirba su visomis kodų lentelėmis) siųsti ir priimti: „Pegasus Mail“, „Demos Mail", „Pine"; su tam tikromis išlygomis (neturi ISO-8859-13 lentelės): „Microsoft Outlook Express“ ir „Tango“.

Literatūra

Borenstein, N. S., Internet Multimedia Mail with MIME: Emerging Standards for Interoperability, ftp://ftp.bellcore.com/pub/nsb/MIME-overview.txt

Borenstein, N. S., MIME: A Portable and Robust Multimedia Format for Internet Mail, Multimedia Systems 1 (1): 29-36 (1993)

Crocker, D., MailConnect 1 interoperability testing event final report, January 1997, http://www.imc.org/imc-mailconnect/mailconnect1-report.html

Crocker, D., Standard for the Format of ARPA Internet Text Messages, STD 11, RFC 822, UDEL, August 1982.

Faltstrom, P., and Liman, L. H., Interoperability Tests of Electronic Mail according to RFC-822/MIME, http://www.cafax.se/MIME-tests.html

Freed, N., and N. Borenstein, Multipurpose Internet Mail Extensions (MIME) Part One: Format of Internet Message Bodies, RFC 2045, Innosoft, First Virtual Holdings, November 1996.

Freed, N., and N. Borenstein, Multipurpose Internet Mail Extensions (MIME) Part Two: Media Types, RFC 2046, Innosoft, First Virtual Holdings, November 1996.

Freed, N., Klensin, J., and J. Postel, Multipurpose Internet Mail Extensions (MIME) Part Four: MIME Registration Procedures, RFC 2048, Innosoft, MCI, ISI, November 1996.

Freed, N. and N. Borenstein, Multipurpose Internet Mail Extensions (MIME) Part Five: Conformance Criteria and Examples, RFC 2049, Innosoft, First Virtual Holdings, November 1996.

Huizer, E., Multimedia E-mail (MIME) User Agent checklist, RFC 1844, SURFnet bv, August 1995.

Moore, K., Multipurpose Internet Mail Extensions (MIME) Part Three: Representation of Non-ASCII Text in Internet Message Headers, RFC 2047, University of Tennessee, November 1996.

Prosise, J., Extending Internet Mail. A look at MIME: Multipurpose Internet Mail Extensions, PC Magazine Vol. 16, No. 1, 1997.

 

The analysis of electronic mail software from the point of view of sending national characters

 Summary

The basic electronic mail standards were established in 1982. They allow sending messages that contains only 7 bit characters. Later in 1992, a MIME standard was approved. It allows sending messages that contains 8 bit characters; also it allows sending various multimedia objects. Unfortunately, even at present time problems of sending national characters exists, because programs don't meet some requirements of MIME standard and supports only some character sets.

This article analyses requirements of MIME standard related to sending 8 bit characters. Results of testing various electronic mail programs are presented in this article. They demonstrate usability of programs to send national characters.

Characterisation of electronic mail software and the list of programs, which are best suitable for sending Lithuanian texts, are presented in conclusions.

Informacijos mokslai, 9, 1998, 76š86.

	Į turinį	Į viršų

 

Rašykite mums  info@likit.lt
Atnaujinta 2001.12.15 .