Hei!

Olen viimeisen vuoden aikana vetänyt melkoisen määrän koulutuksia tekoälyavusteisesta markkinoinnista ja copywritingista - väitän, että enemmän kuin kukaan tässä maassa…

Ja yleisimmät epätyytyväisyyden aiheet (ja niitä on monia) kiteytyvät näihin kahteen:

1. Miksi miljardien taalojen arvoinen tekoäly tuottaa tekstiä niiiin hitaasti?

2. Miksi miljardien taalojen arvoinen tekoäly tuottaa niin keskinkertaista tekstiä?

Kohtaan kaksi on olemassa vastauksia monenlaisia ja niihin onkin yleensä hedelmällisintä keskittyä: parempaa promptausta, lisää kontekstimateriaalia, paremmat prosessit ja markkinointi-frameworkit käyttöön niin laatu nousee kummasti!

Mutta se kohta yksi on kyllä tavallaan se selkeästi hankalampi, sillä vaikka kuinka monta miljardia heitettäisiin tekoälyyn ja kielimalleihin, ainakin vielä lähiaikoina näiden järjestelmien kehittäminen ja etenkin ajaminen on NIIN kallista, että etenkin massakäytössä niiden ulosanti tulee olemaan hidasta.

Hoputa siinä sitten tekoälyä kun pitäisi saada kamppis puolilta päivin valmiiksi ja liikkeelle, ja chatGPT generoi tekstiä suunnilleen kirjain kerrallaan… 😄 

Uusi tulokas päihittää chatGPT:n nopeuden mennen tullen… ainakin juuri nyt!

Uusin kohinan aihe on AI-työkalu nimeltä Groq. Ja tätä ei kannata nyt sitten sekoittaa ELon Muskin xAI-firman Grokiin (palataan siihen jatkossa).

Vaikka ei nyt mennä ihan liian tekniseksi, vaikuttaa siltä että muistinhallinnan ja muutaman muun asian suhteen on vielä paljon kehitettävää. Tässä Grocin oma selitys asiasta, jos satut olemaan kiinnostunut teknisestä puolesta.

Mutta useimmille meistä on tärkeintä käyttökokemus. Kuinka hyvin sieltä saa vastauksia, miten responsiivinen, kuinka nopea… jnejne.

Kuinka nopea? No, jos chatGPT4 käsittelee 30-50 tokenia sekunnissa, Groq käsittelee 500 tokenia sekunnissa. Siinä on jo melko näkyvä ero!

Groc on hieman erilainen otus totuttuihin kilpailijoihin nähden (chatGPT/Gemini/Claude yms) sillä se käyttää useampaakin mallia, tällä hetkellä Mistral, Metan Llama, sekä Gemma. Näistä on puhuttu aiemmissa uutiskirjeissä, joten ei mennyt nyt niihin syvemmin.

Mutta käyttökokemus on todella mitä lupaa: tekstiä tulvahtaa ruudulle suorastaan hälyttävää tahtia! Tosin vaikuttaa siltä, että tällä hetkellä vain englanniksi, mutta jos se ei haittaa tai DeepL-käännöksen kautta voi mennä, tahti pysyy kovana. 

Suosittelisin, että Mistral päälle vaan ja puikkoihin Grocia kokeilemaan!

Entä jos haluat ajaa LLM-konetta itse?

Niin, uskomatonta mutta totta on mahdollista asentaa tänä päivänä kielimalli omalle koneelle tai… jopa omaan puhelimeen!

Toki siinä ei saa IHAN samaa kokemusta kuin vaikka chatGPT:n kautta mutta omat käyttötarkoituksensa on silläkin. Katsotaanpa paria vaihtoehtoa.

Kuinka asennat tekoälymallin omalle tietokoneellesi?

Tällä hetkellä paras tai ainakin tunnetuin tapa asentaa LLM omalle koneelle on Lmstudio.ai. Omat versiot löytyvät niin Macille, Windowsille kuin Linuxillekin.

Ja erilaisia malleja löytyy ajettavaksi puolisen tusinaa, alkaen jälleen Llamasta ja monta muuta, kannattaa hieman perehtyä ennen asentamista.

Kuinka asennat tekoälymallin omaan puhelimeesi?!

Jos olet Applen ekosysteemissä syvällä, paras vaihtoehto on Llmfarm.site, josta löytyy keinot. Perustuu avoimeen lähdekoodiin, joten on mahdollista käyttää myös omiin sovelluksiisi.

Jos taas olet Androidin puolella katua, MLC Chat on sovelluksen nimi jolla pääset alkuun. Malleista ehkä Mistral 7B on jälleen se millä kannattaa aloittaa.

Huhhuh. Olipa siinä vähän teknispainotteista juttua tällä kertaa, mutta parasta näissä on pysyä mukana, jotta ollaan kaikki tukevasti aallon harjalla.

Pian taas uutta, seuraavalla kertaa promptitalkoita luvassa!

Terveisin,

Juho Tunkelo

PS. No hyvä on… en voi ihan kokonaan ilman arvokkaita promptivinkkejä lopettaa tätäkään kirjettä. Tehdään se tällä kertaa linkkien kautta. 

Jos tarinankerronta on markkinointitekemisesi ytimessä, Hero’s Journey eli sankaritarinan kaari ja malli on varmasti tuttu. Äskettäin tarvitsin muutaman osuvan promptin siihen tarkoitukseen ja löysin tämän kultakimpaleen:

“58 Hero’s Prompts”

Ja empatiateemaa sivuttiin kertaalleen aiemminkin, ja siihen palataan taatusti myös jatkossa… siihenkun teemaan löytyi aika lupaava työkalu:

Hume.ai - empaattinen tekoäly, joka reagoi ihmismäisesti. Kokeile vaikka, tiettyyn pisteeseen saakka tämä tuntuu lähes psykoterapeutin kanssa chattaamiseltä…