કેવી રીતે આ બ્લોગ 42 ભાષાઓમાં અનુવાદિત થાય છે

આ Splync માટેના મારા બ્લોગનો 23મો લેખ છે, દંપતી, મિત્રો અને કુટુંબો માટે સરળ બજેટ ટ્રેકર છે. તમે વિચારતા હો એમ થઈ શકે છે કે હું એકલો એન્જિનિયર હોવા છતાં દરેક પોસ્ટ 42 ભાષાઓમાં કેવી રીતે પ્રકાશિત કરું છું. દરેક લેખના શિર્ષકના ટોચ પર દર્શાવેલા સૂચન મુજબ, આ વેબસાઇટને મારી જાતે બનાવેલ સોફ્ટવેરનો ઉપયોગ કરીને આપમેળે અનેક ભાષાઓમાં અનુવાદિત કરાય છે. સ્પષ્ટ કરવા માટે: હું અંગ્રેજી સિવાય કોઈપણ ભાષામાં એક પણ વાક્ય મેન્યુઅલી લખતો નથી. તેથી, જ્યારે અર્થની ચોકસાઇ ખરેખર જરૂરી હોય ત્યારે હું વાચકોથી મૂળ અંગ્રેજી સંસ્કરણનો સંદર્ભ લેવા વિનંતી કરું છું. છતાં, અનુવાદ પાઇપલાઇનને સુધારવા માટે ઘણા પ્રયત્નો કર્યા પછી, હું માનું છું કે કુલ અનુવાદની ગુણવત્તા સંતોષજનક છે. આ લેખમાં, હું શેર કરીશ કે મારું સોફ્ટવેર Splync બ્લોગને બહુભાષી બનાવવામાં કેવી રીતે મદદ કરે છે.

હું હંમેશા સાદી અંગ્રેજીમાં દરેક લેખ લખવાનું શરૂ કરું છું, જેમાં SEO સંબંધિત મેટાડેટામાં સમાવેશ થાય છે. તે પછી, મારું Python સ્ક્રિપ્ટ અંગ્રેજી લખાણને OpenAI API ને મોકલે છે, સાથેમાં પ્રોમ્પ્ટ અને એક નાનો સંદર્ભ ફાઇલ. OpenAI ના સર્વર્સ પર, ChatGPT-4o વિનંતી વાંચે છે અને અનુવાદિત લેખને ઉદાહરણ તરીકે અરબી સંસ્કરણમાં JSON સ્વરૂપે પાછો મોકલે છે. મારું MacBook તે અનુવાદ પ્રાપ્ત કરે છે, ત્યારે સ્ક્રિપ્ટ તરત જ બીજી વિનંતી મોકલે છે, આ વખતે બંગાળી માટે. સ્ક્રિપ્ટ આપમેળે તમામ 42 લક્ષ્ય ભાષાઓમાં લૂપ કરે છે. પ્રક્રિયા પૂર્ણ થઈ જાય પછી, મારા કમ્પ્યૂટરમાં 42 અનુવાદિત JSON ફાઇલો છે. એક વધુ Python સ્ક્રિપ્ટ પછી દરેક અનુવાદને HTML ટેમ્પલેટમાં સમાવીને 42 HTML ફાઇલો પેદા કરે છે ઓછામાં ઓછા સેકંડમાં. બધા ફાઇલો સર્વર પર અપલોડ થાય છે જ્યાં આ બ્લોગ હોસ્ટેડ છે, અને દરેક ભાષા સંસ્કરણને તેની પોતાની ડિરેક્ટરીમાં રાખવામાં આવે છે. અંતે, સર્વર સાઇડ Python સ્ક્રિપ્ટ લેખ સૂચિ અને “અગાઉનો લેખ” લિંકોને અપડેટ કરે છે જેથી દરેક ભાષાની નેવિગેશન સુસંગત રહે. મૂળ અંગ્રેજી લેખ સાદા પાઠમાં લખાયેલું હોય, આખી પ્રક્રિયા સામાન્ય રીતે 5 મિનિટ અથવા ઓછા સમયમાં પૂરી થાય છે. જ્યારે મને ફેરફારો કરવાની જરૂર હોય છે, ત્યારે હું સર્વર સાઇડ Python સ્ક્રિપ્ટનો ઉપયોગ કરીને એક સાથે અનેક HTML ફાઇલોને અપડેટ કરું છું.

જો તમે તકનીકી શબ્દો સાથે પરિચિત ન હો, તો કદાચ તમે વિચારતા હશો કે મારો કમ્પ્યૂટર OpenAI ના સર્વર સાથે "વાત" કેવી રીતે કરે છે. જવાબ એ છે કે API, એપ્લિકેશન પ્રોગ્રામિંગ ઇન્ટરફેસ. તમે API ને બે કાર્યક્રમો વચ્ચેના સંદેશાવ્યવહાર વિન્ડો તરીકે વિચારશો: એક કાર્યક્રમ વિનંતી મોકલે છે, અને બીજું જવાબ પાછો આપે છે. ઉદાહરણ તરીકે, મારું Python સ્ક્રિપ્ટ એક સંદેશ મોકલે છે જેમ કે, “કૃપા કરીને આ લેખને જર્મન ભાષામાં અનુવાદિત કરો.” OpenAI તે સંદેશને API મારફતે પ્રાપ્ત કરે છે, અનુવાદ તૈયાર કરે છે, અને પરિણામ પાછું મોકલે છે. તે એક રેસ્ટોરન્ટમાં ઓર્ડર મુકવા જેવું જ કામ કરે છે: તમે વેઇટરને કહો છો કે તમે શું ઇચ્છો છો, રસોઈખાનાથી તૈયાર થાય છે, અને વેઇટર તેને તમારી ટેબલ પર લાવે છે. અને વેઇટરની જરૂર છે કેમ? કેમ કે તમે રસોઈખાનામાં સીધા ન જઈને અથવા શેફ સાથે વાત નથી કરતા — તમને રસોઈખાનાનું કામકાજ સમજાતું નથી, અને તમને તે જાણવાની જરૂર નથી. તમે વેઇટરને "શું હું ચીઝબર્ગર મેળવી શકું?" કહો છો, અને વેઇટર એકદમ અલગ ફોર્મેટમાં "ઑર્ડર અપ! T21, Chihuahua!" કહી શકે છે. API એ જ ભૂમિકા ભજવે છે. તે બન્ને વિરિધતમ સિસ્ટમોને સાથે જોડે છે જેનીને એકબીજાના આંતરિક ભાષા અથવા કાર્યપ્રણાલી સમજીવાની જરૂર નથી.

હવે અમે API શું છે તે જોઈ લીધા પછી, અહીં છે કે મને આ બ્લોગ માટે ખરેખર તેની જરૂર કેમ છે. વ્યવહારૂ રીતે કહું તો, હું ChatGPT સાથે “વાત” કેવી રીતે કરવી તે જાણું છું — પરંતુ મારી પાસે 42 ભાષાઓ પ્રક્રિયા કરવાની છે. 42 વખત વેઇટરનો સંદેશ મૂકવો કંટાળાજનક હશે (કાર્યક્રમ અંગ્રેજી ને અંગ્રેજીમાં અનુવાદિત નથી કરતું, પણ તે લખાણને JSON માં રૂપાંતરિત કરે છે). OpenAI API નો ઉપયોગ કરીને મારું Python સ્ક્રિપ્ટ તમામ તે વિનંતીઓને આપમેળે મોકલે છે, મને પુનરાવર્તિત કાર્યમાંથી બચાવીને મને બીજા કાર્યો પર ધ્યાન કેન્દ્રિત કરવાની મજા મળે છે. હું એકલો વિકાસકર્તા છું, તેથી મને મારા સમયનો સૌથી વધુ અસરકારક રીતે ઉપયોગ કરવો પડે છે. જ્યારે પણ હું કોઈ કાર્ય જોતી વખતે તે પુનરાવર્તિત હોય અને સ્પષ્ટ નિયમો હોય, હું તેને આપમેળે કરું છું. પરિણામ સામાન્ય રીતે એક પ્રક્રિયા હોય છે જે મિલિયન ગણો ઝડપી અને સંપૂર્ણપણે ભૂલ મુક્ત હોય છે. તેથી API મારફતે આપમેળે કરું તે આવશ્યક છે — તે મારા સ્ક્રિપ્ટને 42

તકનીકી દ્રષ્ટીએ, હું વધુ ભાષાઓ ઉમેરવા માટે સક્ષમ છું; જ્યારે હું વાસણ ધોવું છું ત્યારે તેને થોડી વધુ મિનિટો ચાલશે. પણ હું વ્યક્તિગત રીતે નંબર 42 ને પસંદ કરું છું, જે ડગ્લસ એડમ્સની પુસ્તકમાંથી “જીવનનો, બ્રહ્માંડનો, અને બધું જનો પરમ પ્રશ્નનો જવાબ” છે. 42 સાથેના મારા લાગણીય જોડાણ ઉપરાંત, ખૂબ નાના ભાષાઓ ઉમેરવાથી જોખમ હોઈ શકે છે, કારણ કે AI અનુવાદ માં વપરાતા ભાષાઓ માટે ઓછા ટ્રેનિંગ ડેટા હોય ત્યારે તે ઓછા વિશ્વસનીય બની શકે છે.

જ્યારે મેં પહેલાથી આ બહુભાષી અનુવાદ અભિગમ સાથે પ્રયોગ કર્યો ત્યારે પરિણામ સંતોષજનક પણ સંપૂર્ણ ના હતા. કેટલીક વાક્ય ખોટી અનુવાદિત, અત્યંત શાબ્દિક અથવા કેટલીક ભાષાઓમાં અવ્યક્ત રીતે ભ્રમિત હતી. હું તે પણ ચિંતિત હતો કે ચોક્કસ સાંસ્કૃતિક સંદર્ભોમાં અનિચ્છનીય અથવા અપ્રસંગિક અભિવ્યક્તિઓ ઉત્પન્ન ન થાય. અને અવશ્ય, હું મારી અનુવાદને મશીનોરૂપ કે મિકેનિકલ નથી ઇચ્છતો. અનુવાદની ગુણવત્તાના પીછેહઠ માંથી એક મુખ્ય પરિબળ તાપમાનનું સમાયોજન છે — એક પરિમાણ જે AIને કેટલું “રસપ્રદ” કે “કડક” બનાવવું જોઈએ તે નિયંત્રિત કરે છે. ઉચ્ચ તાપમાન AIને વધુ કલ્પનાશીલ બનાવે છે, પણ વધુ અનિશ્ચિત પણ બનાવે છે. નીચું તાપમાન મૂળ અર્થને નજીક રહે છે, પણ ક્યારેક તે કઠિન બની શકે છે. યોગ્ય સંતુલન શોધવા માટે ઘણું પરીક્ષણ અને ભૂલ થયું: પૂરતું નીચું જે ચોકસાઈ માટે, પણ એટલું નીચું નહીં કે પાઠ નિષ્પ્રાણ બની જાય. ઘણા પ્રયોગો પછી, મને લાગ્યું કે તાપમાન = 0.8 આ બ્લોગની જરૂરિયાતો માટે ઉત્તમ છે: મૂળ અંગ્રેજી મૂળને વિશ્વાસપાત્ર રહેવા માટે যথાર્થ, પણ અન્ય ભાષાઓમાં કુદરતી લાગે તે માટે સુગમ.

નવા મોડેલ જેમ કે ChatGPT 5 અને 5.1 હવે તાપમાન સમાયોજનને સંપૂર્ણપણે સમર્થન આપતા નથી — આ પરિમાણને દૂર કરવામાં આવ્યું છે અને તેને કારણ અને પ્રયત્ન જેવા વિચારો સાથે બદલવામાં આવ્યું છે, જે મોડેલની વિચારધારા પર અસર કરે છે, “કેટલીક રસપ્રદ” બનવા પર નહિ. બીજી રીતે કહું તો, ChatGPT 4o મને અનુકૂલ કરવા માટે એક ભૌતિક ડાયલ આપતો હતો, પણ 5.x પરિવારમાં સંપૂર્ણપણે અલગ દ્રષ્ટિ છે. જો તમે નવીનતમ મોડેલને "તાપમાન = 0.8 સાથે અનુવાદ કરો" કહેવા માટે પૂછો છો, તો તે સમજી શકે તેમ હોય છે કે આ પરિમાણ હજુ પણ હાજર છે, પરંતુ આંતરિક રીતે તે ગાયબ છે. મોડેલ માત્ર ઇચ્છાને અનુરૂપ બનાવવા પ્રયત્ન કરે છે. જેમ OpenAI તેમના મોડલને અપડેટ કરતા રહે છે, હું કદાચ મારા અનુવાદ પાઇપલાઇનને ક્યારેક સમાયોજિત કરી શકું. હાલ, ChatGPT 4o ખૂબભાષી અનુવાદ માટે મારી પસંદગી છે — માત્ર તે ઘણા ભાષાઓમાં સંદર્ભને સારી રીતે સમજે છે, પણ તેનું API મૂલ્ય એકલા વિકાસકર્તા માટે યોગ્ય છે. ખરેખર, 4o OpenAI ના ઇતિહાસમાં સૌથી વધુ પ્રેમાળ મોડેલ તરીકે જવું શક્ય છે.

OpenAI API ની એક અદ્ભુત વાત — બ્રાઉઝરમાં સીધા ChatGPT નો ઉપયોગ કરતાં — એ છે કે તમે એક સાથે એકથી વધુ ChatGPT “વર્કર” નો ઉપયોગ કરી શકો છો. જ્યારે હું 42 ભાષાઓ માટે અનુવાદ વિનંતીઓ મોકલું છું, ત્યારે હું તેમને એક પછી એક ધીમાપણાંમાં નહીં મોકલું. તેના બદલે, API ઘણા વિનંતીઓને સમાંતરે પ્રક્રિયા કરી શકે છે, જાણે કે મેં અચાનક એક રૂમ ભરી અનુવાદકોને રાખ્યા હોય અને બધા એક સાથે કામ શરૂ કરે છે. મારું Python સ્ક્રિપ્ટ વર્કફ્લોને નાના ઉત્પાદન લાઇન જેવું સંભાળે છે: તે અંગ્રેજી લેખ તૈયાર કરે છે, વિનંતીઓ મોકલે છે, પ્રતિસાદની રાહ જુવે છે, અને પરિણામોને JSON ફાઇલોમાં પ્રક્રિયા કરે છે. તે વચ્ચે, OpenAI સર્વર્સ સમાંતરે ઘણા મોડેલ ઉદાહરણોને ચલાવે છે, દરેક અલગ ભાષામાં અનુવાદ કરી રહ્યું છે. આ કંઈક ChatGPT વેબસાઇટ અથવા એપ કરી શકતી નથી — તે ઇન્ટરફેસ તમને એક મોડેલ, એક સંવાદ, એક કાર્ય એક સમયે આપે છે. પણ API સાથે, તમે તમારું કાર્ય લોડ તેમ કરે છે જેટલું તમારા સ્ક્રિપ્ટ મંજૂરી આપે છે. મારા જેવા એકલા વિકાસકર્તા માટે, આ સ્માર્ટ અને નિરહંકાર સહાયકની નાની ટીમ જેવી લાગે છે. આ ભાગ્યે જ ઇન્ટરનેટની ગતિ પર આધાર રાખે છે, પણ હું સામાન્ય રીતે વર્કર્સ = 12 પર સેટ કરું છું.

જ્યારે હું ક્યોટો યુનિવર્સિટીમાં ગણિત અભ્યાસ કરતો હતો ત્યારે હું વિદ્યાર્થી કાફેતેરિયામાં વાસણ ધોવાનું કામ કરતો હતો. જ્યારે પગાર લગભગ 5 USD પ્રતિ કલાક હતો, મેં હંમેશાં પુનરાવર્તિત હસ્તકૌશલ્ય કામ પસંદ કર્યું છે જ્યારે હું ઘણા કલાકો — અથવા ક્યારેક ઘણી દિવસો — ગહન બુદ્ધિપ્રવૃત્તિમાં વિતાવતો હતો. ત્યારબાદ, જ્યારે હું હોક્કાઈડો માં લસણ ફેક્ટરીમાં કામ કરતો હતો, મારું કામ માત્ર હજારો સફેદ લસણની કળીઓ પલળીને તેમને કન્વેયર બેલ્ટ પર તેજ દેખાવા માટે હતો. આઠ કલાક દિવસ — સંપૂર્ણ ફોકસ, સ્થિર લય. તે અજાણપણે સંતોષકારક હતું. હવે, તે સ્મૃતિઓથી પાછા, હું હાલમાં બુદ્ધિપ્રવૃત્તિ કામ કરું છું — સોફ્ટવેર લખવું, સિસ્ટમો ડિઝાઇન કરવી, આ લેખો સંકલિત કરવું. પણ સંતુલન બદલાયું નથી. જો તમે મારો પૂછો કે હું કેવી રીતે એકલો 42 ભાષાઓમાં બ્લોગ લેખ પ્રકાશિત કરું છું, સાચું જવાબ છે: હું વાસણ ધોઈને કરું છું.